Kapitel 14
RAG & Wissensspeicher
In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu mßssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.
Kontextfenster & Prompt
Gefundene Quellen mĂźssen sinnvoll eingesetzt werden
Retrieval allein reicht nicht. Die gefundenen Chunks mĂźssen so in einen Prompt eingebaut werden, dass der Antwortgenerator sie sinnvoll nutzen kann.
Dabei gibt es eine Grenze: das Kontextfenster. Es ist der Platz, den ein Modell gleichzeitig betrachten kann. Wenn zu viele Quellen eingefĂźgt werden, wird der Prompt lang, unĂźbersichtlich und schlechter steuerbar.
Prompt-Aufbau
Ein guter RAG-Prompt gibt dem Generator klare Quellen und klare Antwortregeln.
Zu wenig Kontext
- ⢠wichtige Informationen fehlen
- ⢠Antwort bleibt allgemein
- ⢠Generator muss eher raten
Zu viel Kontext
- ⢠irrelevante Informationen stÜren
- ⢠Prompt wird unßbersichtlich
- ⢠Antwort verliert Fokus
Checkpoint
RAG ist Suche plus Kontextgestaltung. Die Qualität des Prompts entscheidet mit ßber die Qualität der Antwort.
NOVA Energie-Log
RTX-Verbrauch
NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.
Lade Energie-Daten...