RNN, LSTM & GRU

Bisher haben unsere Netze einzelne Beispiele verarbeitet: ein Bild, eine Tabelle, einen Feature-Vektor oder einen Sensorzustand. Viele echte Probleme bestehen aber aus Reihenfolgen. Sprache, Musik, Börsendaten, Wetterverläufe, Bewegungen und Roboter-Sensoren entstehen Schritt für Schritt. Genau dafür wurden rekurrente neuronale Netze entwickelt.

← Kapitel 7 – GPU & CUDA Kapitel 9 – Attention →

🤖

NOVA Kapitel-Modul

NOVA lernt Sequenzen

In diesem Kapitel bekommt NOVA ein Kurzzeitgedächtnis.

Ein normales Netz sieht einen Input und berechnet daraus eine Ausgabe. Ein RNN liest eine Folge Schritt für Schritt und nimmt einen Zustand mit. Dadurch kann NOVA erkennen, was vorher passiert ist.

Was du in diesem Kapitel lernst

↳Was Sequenzen sind
↳Was formale Grammatik bedeutet
↳Warum Reihenfolge wichtig ist
↳Was ein Hidden State ist
↳Warum LSTM und GRU besser erinnern können

Abschnitt 7 von 12Kapitel 8.7

Hidden State

Der wichtigste Begriff beim RNN ist der Hidden State. Er ist der interne Zustand des Netzes. Bei jedem neuen Element der Sequenz wird er aktualisiert.

Input

Das aktuelle Element der Sequenz.

aktuelles Wort oder Sensorwert

Hidden State

Das, was das Netz aus vorherigen Schritten mitnimmt.

Kontext, Verlauf, bisherige Information

Wichtig für NOVA

Wenn NOVA sich bewegt, ist ein einzelner Sensorwert oft zu wenig. Erst der Verlauf zeigt, ob NOVA auf ein Hindernis zufährt, sich davon entfernt oder schon längere Zeit blockiert ist.

NOVA wird geladen...

NOVA Energie-Log

RTX-Verbrauch

NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.

Lade Energie-Daten...