Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[de] cs-229-deep-learning #106

Merged
merged 10 commits into from
Apr 23, 2020
54 changes: 27 additions & 27 deletions de/cheatsheet-deep-learning.md
Original file line number Diff line number Diff line change
@@ -1,162 +1,162 @@
**1. Deep Learning cheatsheet**

⟶
⟶ Deep Learning Spickzettel

<br>

**2. Neural Networks**

&#10230;
&#10230; Neuronale Netze

<br>

**3. Neural networks are a class of models that are built with layers. Commonly used types of neural networks include convolutional and recurrent neural networks.**

&#10230;
&#10230; Neuronale Netze sind eine Klasse von Modellen die in Schichten aufgebaut sind. Gängige Typen neuronaler Netze sind unter anderem faltende und rekurrente neuronale Netze.

<br>

**4. Architecture ― The vocabulary around neural networks architectures is described in the figure below:**

&#10230;
&#10230; Architektur - Das Vokabular rund um Architekturen neuronaler Netze ist in folgender Abbildung beschrieben:

<br>

**5. [Input layer, hidden layer, output layer]**

&#10230;
&#10230; [Eingangsschicht, versteckte Schicht, Ausgangsschicht]
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**6. By noting i the ith layer of the network and j the jth hidden unit of the layer, we have:**

&#10230;
&#10230; Sei i die i-te Schicht des Netzes und j die j-te versteckte Einheit der Schicht, so ist:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**7. where we note w, b, z the weight, bias and output respectively.**

&#10230;
&#10230; wobei w, b und z jeweils Gewichtung, Vorspannung und Ergebnis bezeichnen.
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**8. Activation function ― Activation functions are used at the end of a hidden unit to introduce non-linear complexities to the model. Here are the most common ones:**

&#10230;
&#10230; Aktivierungsfunktion - Aktivierungsfunktionen werden am Ende einer versteckten Schicht benutzt um nicht-lineare Verflechtungen in das Model einzubringen. Hier sind die die gebräuchlisten:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**9. [Sigmoid, Tanh, ReLU, Leaky ReLU]**

&#10230;
&#10230; [Sigmoid, Tanh, ReLU, undichte ReLU]

<br>

**10. Cross-entropy loss ― In the context of neural networks, the cross-entropy loss L(z,y) is commonly used and is defined as follows:**

&#10230;
&#10230; Kreuzentropieverlust - Im Kontext neuronaler Netze wird der Kreuzentropieverlust L(z,y) gebräuchlicherweise benutzt und definiert wie folgt:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**11. Learning rate ― The learning rate, often noted α or sometimes η, indicates at which pace the weights get updated. This can be fixed or adaptively changed. The current most popular method is called Adam, which is a method that adapts the learning rate.**

&#10230;
&#10230; Lernrate - Die Lernrate, oft mit α oder manchmal mit η bezeichnet, gibt an mit welcher Schnelligkeit die Gewichtungen aktualisiert werden. Die Lernrate kann konstant oder anpassend variierend sein. Die aktuell populärste Methode, Adam, ist eine Methode die die Lernrate anpasst.

<br>

**12. Backpropagation ― Backpropagation is a method to update the weights in the neural network by taking into account the actual output and the desired output. The derivative with respect to weight w is computed using chain rule and is of the following form:**

&#10230;
&#10230; Fehlerrückführung - Fehlerrückführung aktualisiert die Gewichtungen in neuronalen Netzen durch Einberechnung der tatsächlichen und der gewünschten Ausgabe. Die Ableitung nach der Gewichtung w wird mit Hilfe der Kettenregel berechnet und hat die folgende Form:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**13. As a result, the weight is updated as follows:**

&#10230;
&#10230; Im Ergebnis wird das Gewicht wie folgt aktualisiert:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**14. Updating weights ― In a neural network, weights are updated as follows:**

&#10230;
&#10230; Das Aktualisieren der Gewichtungen - In neuronalen Netzen werden die Gewichtungen wie folgt aktualisiert:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**15. Step 1: Take a batch of training data.**

&#10230;
&#10230; Schritt 1: Nimm einen Stapel von Lerndaten.

<br>

**16. Step 2: Perform forward propagation to obtain the corresponding loss.**

&#10230;
&#10230; Schritt 2: Führe Vorwärtsausbreitung durch um den entsprechenden Verlust zu erhalten.
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**17. Step 3: Backpropagate the loss to get the gradients.**

&#10230;
&#10230; Schritt 3: Fehlerrückführe den Verlust um die Gradienten zu erhalten.
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**18. Step 4: Use the gradients to update the weights of the network.**

&#10230;
&#10230; Schritt 4: Verwende die Gradienten um die Gewichtungen im Netz zu aktualisieren.
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**19. Dropout ― Dropout is a technique meant at preventing overfitting the training data by dropping out units in a neural network. In practice, neurons are either dropped with probability p or kept with probability 1−p**

&#10230;
&#10230; Aussetzen - Aussetzen ist eine Technik um eine Überanpassung der Lerndaten zu verhindern bei der Einheiten in einem neuronalen Netz ausfallen. In der Praxis werden Neuronen entweder mit Wahrscheinlichkeit p ausgesetzt oder mit Wahrscheinlichkeit 1-p behalten.
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**20. Convolutional Neural Networks**

&#10230;
&#10230; Faltende neuronale Netzwerke

<br>

**21. Convolutional layer requirement ― By noting W the input volume size, F the size of the convolutional layer neurons, P the amount of zero padding, then the number of neurons N that fit in a given volume is such that:**

&#10230;
&#10230; Vorraussetzung für eine faltende Schicht - Sei W das Eingangsvolumen, f die Größe der Neuronen der faltenden Schicht, P die Anzahl der aufgefüllten Nullen, dann ist die Anzahl der Neuronen N die in ein gegebenes Volumen passen:

<br>

**22. Batch normalization ― It is a step of hyperparameter γ,β that normalizes the batch {xi}. By noting μB,σ2B the mean and variance of that we want to correct to the batch, it is done as follows:**

&#10230;
&#10230; Bündelnormalisierung - Ein Schritt des Hyperparameters γ,β welcher das Bündel {xi} normalisiert. Es seien μB der Mittelwert und σ2B die Varianz dessen um was das Bündel korrigiert werden soll, dann gilt folgendes:
nanophilip marked this conversation as resolved.
Show resolved Hide resolved

<br>

**23. It is usually done after a fully connected/convolutional layer and before a non-linearity layer and aims at allowing higher learning rates and reducing the strong dependence on initialization.**

&#10230;
&#10230; Geschieht üblicherweise nach einer vollständig verbundenen/faltenden Schicht und vor einer nicht-linearen Schicht und bezweckt eine höhere Lernrate und eine Reduzierung der starken Abhängigkeit von der Initialisierung.
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Geschieht Wird üblicherweise nach einer vollständig verbundenen kompletten/faltenden und vor einer nicht-linearen Schicht durchgeführt und bezweckt eine höhere die Erhöhung der Lernrate und eine Reduzierung der starken Abhängigkeit vom initialen Wert der Lernrate.

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Is "komplett" the same as / known as / used as "vollständig verbunden" in the literature?


<br>

**24. Recurrent Neural Networks**

&#10230;
&#10230; Rekurrente neuronale Netze

<br>

**25. Types of gates ― Here are the different types of gates that we encounter in a typical recurrent neural network:**

&#10230;
&#10230; Typen von Gattern - Dies sind die verschiedenen Typen der Gatter die wir in typischen rekurrenten neuronalen Netzen vorfinden:

<br>

**26. [Input gate, forget gate, gate, output gate]**

&#10230;
&#10230; [Eingangsgatter, Vergißgatter, Gatter, Ausgangsgatter]

<br>

**27. [Write to cell or not?, Erase a cell or not?, How much to write to cell?, How much to reveal cell?]**

&#10230;
&#10230; [Zelle beschreiben oder nicht?, Zelle löschen oder nicht?, Wieviel in die Zelle schreiben?, Wieviel um die Zelle aufzudecken?]

<br>

Expand Down