Kapitel 14
RAG & Wissensspeicher
In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu mßssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.
Antwortmodi
Eine NOVA, mehrere Antwortstrategien
NOVA kann mehrere Antwortmodi anbieten. Das bedeutet nicht, dass es mehrere NOVAs gibt. Es bedeutet, dass eine NOVA dieselbe Frage und dieselben Quellen mit unterschiedlichen Strategien verarbeiten kann.
Didaktisch ist das wichtig, weil man dadurch vergleichen kann: Was liefert die reine Suche? Was verändert ein stärkerer Generator? Wo entstehen Fehler? Welche Rolle spielt der Prompt?
Classic
- ⢠zeigt die RAG-Logik direkter
- ⢠ist einfacher zu prßfen
- ⢠braucht keinen starken Generator
- ⢠hilft beim Debugging
Ollama
- ⢠formuliert natßrlicher
- ⢠kann Quellen besser zusammenfßhren
- ⢠braucht klare Prompt-Regeln
- ⢠muss quellengebunden bleiben
Auto
- ⢠nutzt bevorzugt den stärkeren Generator
- ⢠kann auf einfachere Antwort zurßckfallen
- ⢠ist praktisch im Alltag
- ⢠soll trotzdem Quellen anzeigen
MiniNovaLM später
- ⢠ist NOVAs eigenes Modell
- ⢠didaktisch zentral
- ⢠kann weiter trainiert werden
- ⢠kann später selbst RAG-Kontext nutzen
Checkpoint
Antwortmodi zeigen: NOVA ist nicht ein einzelner Textkasten, sondern ein KI-System mit austauschbaren Antwortstrategien.
NOVA Energie-Log
RTX-Verbrauch
NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.
Lade Energie-Daten...