Kapitel 13
Eigenes LLM fĂŒr NOVA
Dieses Kapitel verbindet die ganze Lernreise. NOVA soll spÀter nicht nur Aufgaben speichern, sondern mit einem eigenen kleinen Sprachmodell state-gebunden antworten können. Der Fokus bleibt: echte Daten, echte Checkpoints, echte Grenzen.
13.8 Training eines Mini-LLMs
Wie NOVA spĂ€ter trainieren wĂŒrde
Das Modell bekommt Textsequenzen. FĂŒr jede Position soll es das nĂ€chste Token vorhersagen. Aus dem Fehler wird der Loss berechnet, und Backpropagation passt die Gewichte an.
Input: ["NOVA", "hat", "Mission"] Target: ["hat", "Mission", "abgeschlossen"] Training: prediction â loss â backward â optimizer.step()
NOVA-Trainingsdaten
NOVAs Trainingsdaten sollten nicht beliebige Webtexte sein. FĂŒr ein erstes eigenes Modell brauchen wir kleine, saubere Beispiele aus dem AI-Lab: Missionen, LernstĂ€nde, erlaubte Antworten, Grenzen und ErklĂ€rungen.
Beispiel-Datensatz: User: "Was hast du gelernt?" NOVA: "Ich darf nur gespeicherte Missionen nennen." User: "Bist du ein eigenes LLM?" NOVA: "Noch nicht. Mein Sprachmodell wird erst spÀter trainiert."
NOVA Energie-Log
RTX-Verbrauch
NOVA schÀtzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-LÀufe bisher ungefÀhr verbraucht haben.
Lade Energie-Daten...