Kapitel 14
RAG & Wissensspeicher
In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu mßssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.
Training vs Retrieval
Training verändert das Modell, Retrieval ergänzt den Kontext
Training und Retrieval sind zwei verschiedene Wege, mit Wissen umzugehen. Beim Training verändert sich ein Modell. Gewichte werden angepasst, damit das Modell ein Muster, einen Stil oder eine Fähigkeit besser beherrscht.
Retrieval verändert das Modell nicht. Stattdessen sucht NOVA zur Laufzeit passende Informationen aus einem Wissensspeicher. Diese Informationen werden dann in den Kontext gelegt, bevor eine Antwort entsteht.
Training
Das Modell lernt dauerhaft aus Daten.
Retrieval
Das Modell bleibt gleich, bekommt aber fĂźr diese Antwort relevante Quellen.
Training
- ⢠ändert Modellgewichte
- ⢠braucht vorbereitete Trainingsdaten
- ⢠ist rechenintensiver
- ⢠gut fßr Verhalten, Stil und Fähigkeiten
- ⢠nicht ideal fßr ständig wechselnde Fakten
Retrieval
- ⢠ändert keine Modellgewichte
- ⢠nutzt Dokumente und Quellen
- ⢠ist schnell aktualisierbar
- ⢠gut fßr Fakten, Dokus und Projektwissen
- ⢠macht Quellen sichtbar prßfbar
Checkpoint
NOVA kann lernen und trainieren. RAG ist zusätzlich dazu da, Wissen abrufbar zu machen, ohne jedes Dokument in das Modell einzutrainieren.
NOVA Energie-Log
RTX-Verbrauch
NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.
Lade Energie-Daten...