Kapitel 8
RNN, LSTM & GRU
Bisher haben unsere Netze einzelne Beispiele verarbeitet: ein Bild, eine Tabelle, einen Feature-Vektor oder einen Sensorzustand. Viele echte Probleme bestehen aber aus Reihenfolgen. Sprache, Musik, Börsendaten, WetterverlĂ€ufe, Bewegungen und Roboter-Sensoren entstehen Schritt fĂŒr Schritt. Genau dafĂŒr wurden rekurrente neuronale Netze entwickelt.
NOVA Kapitel-Modul
NOVA lernt Sequenzen
In diesem Kapitel bekommt NOVA ein KurzzeitgedÀchtnis.
Ein normales Netz sieht einen Input und berechnet daraus eine Ausgabe. Ein RNN liest eine Folge Schritt fĂŒr Schritt und nimmt einen Zustand mit. Dadurch kann NOVA erkennen, was vorher passiert ist.
Was du in diesem Kapitel lernst
- âłWas Sequenzen sind
- âłWas formale Grammatik bedeutet
- âłWarum Reihenfolge wichtig ist
- âłWas ein Hidden State ist
- âłWarum LSTM und GRU besser erinnern können
Was ist ein RNN?
RNN steht fĂŒr Recurrent Neural Network. Rekurrent bedeutet: Ein Teil der Berechnung wird zurĂŒckgefĂŒhrt. Das Netz verarbeitet nicht nur den aktuellen Input, sondern auch einen Zustand aus dem vorherigen Schritt.
RNN-Idee
Schritt 2: Input 2 + alter Zustand â neuer Zustand
Schritt 3: Input 3 + alter Zustand â neuer Zustand
Ausgabe: Ergebnis aus dem letzten Zustand
Dieser Zustand ist kein menschliches Bewusstsein. Es ist einfach ein Zahlenvektor, der Informationen aus frĂŒheren Schritten enthĂ€lt.
NOVA Energie-Log
RTX-Verbrauch
NOVA schÀtzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-LÀufe bisher ungefÀhr verbraucht haben.
Lade Energie-Daten...