RAG & Wissensspeicher

In diesem Kapitel geht es darum, wie NOVA Wissen nutzen kann, ohne jedes Detail in Modellgewichte trainieren zu müssen. Dabei klären wir auch die wichtige Rollenverteilung: NOVA ist ein KI-System. MiniNovaLM ist ihr eigenes trainierbares Modell. RAG ist ihr Wissenszugriff. Ollama ist ein optionaler lokaler Sprachgenerator, den NOVA verwenden kann.

Abschnitt 12 von 1414.12

Fehler & Debugging

RAG reduziert Fehler, aber verhindert sie nicht automatisch

RAG kann Antworten zuverlässiger machen, weil Quellen genutzt werden. Trotzdem können Fehler entstehen. Der wichtigste Punkt beim Debugging ist: Man prüft zuerst die gefundenen Quellen, nicht nur die fertige Antwort.

Wenn die Antwort falsch ist, muss man fragen: Wurden die richtigen Quellen gefunden? Waren sie vollständig? Wurde der Prompt klar gebaut? Hat der Generator die Quellen sauber verwendet?

Fehler bei der Suche

• relevante Quelle wird nicht gefunden
• unwichtige Quelle wird zu hoch bewertet
• Chunk ist zu klein oder zu groß
• Frage und Quelle verwenden unterschiedliche Begriffe

Fehler bei der Antwort

• Quelle wird falsch zusammengefasst
• Antwort klingt sicherer als die Quellenlage ist
• mehrere Quellen werden ungenau vermischt
• fehlende Informationen werden ergänzt, obwohl sie nicht belegt sind

Debug-Reihenfolge

1. Welche Quellen wurden gefunden?

2. Passen die Quellen wirklich zur Frage?

3. Sind die wichtigsten Informationen im Kontext enthalten?

4. Ist im Prompt klar, welche Rolle NOVA und der Generator haben?

5. Folgt die Antwort wirklich aus diesen Quellen?

Checkpoint

Wenn Ollama mit RAG falsch antwortet, prüft man zuerst die Quellen und den Prompt. Der Generator ist nur ein Teil der Kette.

NOVA wird geladen...

NOVA Energie-Log

RTX-Verbrauch

NOVA schätzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-Läufe bisher ungefähr verbraucht haben.

Lade Energie-Daten...