Kapitel 14
RAG & Wissensspeicher
In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu mßssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.
Chunking
Warum Wissen in Abschnitte zerlegt wird
Dokumente sind oft zu groĂ, um sie vollständig in eine Antwort zu legen. AuĂerdem enthält ein Dokument viele Abschnitte, die fĂźr eine konkrete Frage gar nicht relevant sind.
Deshalb zerlegt ein RAG-System Dokumente in kleinere Einheiten. Diese Einheiten nennt man Chunks. Ein Chunk soll genug Zusammenhang enthalten, aber klein genug sein, damit NOVA ihn gezielt finden und verwenden kann.
Dokument in Chunks
Die Suche arbeitet später mit einzelnen Abschnitten statt mit dem gesamten Dokument.
Zu kleine Chunks
- ⢠enthalten zu wenig Zusammenhang
- ⢠einzelne Sätze wirken isoliert
- ⢠Antworten werden lßckenhaft
- ⢠mehr Treffer sind nÜtig
Zu groĂe Chunks
- ⢠enthalten zu viele Nebenthemen
- ⢠verbrauchen viel Kontextplatz
- ⢠erschweren präzise Suche
- ⢠Antworten werden unscharf
Beispiel
Checkpoint
Chunking entscheidet stark darßber, ob NOVA später die richtigen Quellen findet.
NOVA Energie-Log
RTX-Verbrauch
NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.
Lade Energie-Daten...