Kapitel 14
RAG & Wissensspeicher
In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu mßssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.
Warum RAG?
Das Problem: Eine KI braucht aktuelles und ĂźberprĂźfbares Wissen
In den vorherigen Kapiteln hast du NOVA Schritt fßr Schritt aufgebaut: Zustand, Tokenizer, Dataset, Sequenzen, Training, MiniNovaLM und Safety. Damit hat NOVA bereits echte KI-Bausteine. Sie kann Daten verarbeiten, lernen, Modellstände speichern und Antworten erzeugen.
Trotzdem bleibt ein Problem: Ein Modell weiĂ nicht automatisch alles, was gerade in deinem Projekt, deinen Dokumenten oder deinen Kurskapiteln steht. Wenn Wissen neu dazukommt, muss es nicht jedes Mal in die Modellgewichte trainiert werden. Genau dafĂźr ist RAG da.
Ohne RAG
Das Modell antwortet aus seinem aktuellen Prompt und aus dem, was in seinen Gewichten steckt.
Mit RAG
Vor der Antwort sucht NOVA passende Quellen und legt sie als Kontext dazu.
Didaktische Verbindung
RAG macht aus NOVA nicht erst eine KI. NOVA ist bereits ein KI-System. RAG erweitert NOVA um ĂźberprĂźfbares Wissen, das zur Laufzeit gesucht und genutzt werden kann.
Checkpoint
RAG bedeutet: NOVA sucht vor dem Antworten passende Quellen. Dadurch kann sie aktuelles, eigenes und ĂźberprĂźfbares Wissen nutzen, ohne jedes Detail neu zu trainieren.
NOVA Energie-Log
RTX-Verbrauch
NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.
Lade Energie-Daten...