RAG & Wissensspeicher

MiniNovaLM ist unser eigenes kleines Sprachmodell. Es ist didaktisch extrem wichtig, weil wir daran verstehen, wie Tokenisierung, Sequenzen, Training, Checkpoints und Generierung zusammenhängen. Aber MiniNovaLM ist bewusst klein und daher sprachlich noch begrenzt.

Ollama erlaubt NOVA, zusätzlich ein stärkeres lokales Sprachmodell als Generator zu verwenden. Dadurch kann NOVA aus gefundenen Quellen flüssigere und besser strukturierte Antworten erzeugen, ohne dass wir NOVAs eigene Architektur aufgeben.

Die saubere Idee ist also nicht: „Ollama ersetzt NOVA“. Die saubere Idee ist: „NOVA nutzt Ollama als optionalen Generator.“

Wenn du im RAG-Labor eine Frage stellst, passiert didaktisch betrachtet eine Kette aus mehreren Schritten. Diese Kette ist wichtiger als die reine Antwort am Ende.

Wenn Ollama im RAG-Modus eine Frage falsch beantwortet, obwohl die Artikel im AI-Lab vorhanden sind, bedeutet das nicht automatisch, dass Ollama „dumm“ ist oder dass NOVA keine KI ist.

Wahrscheinlicher ist: Die passenden Chunks wurden nicht gefunden, nicht hoch genug bewertet oder nicht klar genug in den Prompt gelegt. Ein RAG-System ist nur so gut wie die Kombination aus Wissensspeicher, Retriever, Prompt und Generator.