Kapitel 8
RNN, LSTM & GRU
Bisher haben unsere Netze einzelne Beispiele verarbeitet: ein Bild, eine Tabelle, einen Feature-Vektor oder einen Sensorzustand. Viele echte Probleme bestehen aber aus Reihenfolgen. Sprache, Musik, Börsendaten, WetterverlĂ€ufe, Bewegungen und Roboter-Sensoren entstehen Schritt fĂŒr Schritt. Genau dafĂŒr wurden rekurrente neuronale Netze entwickelt.
NOVA Kapitel-Modul
NOVA lernt Sequenzen
In diesem Kapitel bekommt NOVA ein KurzzeitgedÀchtnis.
Ein normales Netz sieht einen Input und berechnet daraus eine Ausgabe. Ein RNN liest eine Folge Schritt fĂŒr Schritt und nimmt einen Zustand mit. Dadurch kann NOVA erkennen, was vorher passiert ist.
Was du in diesem Kapitel lernst
- âłWas Sequenzen sind
- âłWas formale Grammatik bedeutet
- âłWarum Reihenfolge wichtig ist
- âłWas ein Hidden State ist
- âłWarum LSTM und GRU besser erinnern können
Wie liest ein Sequenzmodell?
NOVA Demo · Modell-Sequenz
Wie liest ein Sequenzmodell einen Satz?
Ein Sequenzmodell verarbeitet nicht den ganzen Satz als magischen Block. Es liest Schritt fĂŒr Schritt. Nach jedem Token aktualisiert es seinen internen Zustand. Dieser Zustand enthĂ€lt den bisherigen Kontext.
Eingabesequenz
1. Aktueller Token
Subjekt erkannt: Es geht um NOVA.
2. Hidden State
Das ist das KurzzeitgedÀchtnis des Modells nach diesem Schritt.
3. Fokus
Das Modell baut StĂŒck fĂŒr StĂŒck eine Bedeutung auf.
Modell-Ausgabe
Noch nicht genug Kontext fĂŒr die vollstĂ€ndige Aussage.
Je mehr Tokens gelesen wurden, desto mehr Kontext steckt im Hidden State. Genau dieses Prinzip macht RNNs, LSTMs und GRUs fĂŒr Sequenzen interessant.
NOVA Energie-Log
RTX-Verbrauch
NOVA schÀtzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-LÀufe bisher ungefÀhr verbraucht haben.
Lade Energie-Daten...