Retrieval-Evaluation: findet dein RAG-System die richtigen Dokumente?

Eine gute Antwort kann trotz schlechter Suche entstehen – und eine gute Suche trotzdem zu einer schlechten Antwort führen. Retrieval-Evaluation trennt beide Fragen sauber.

Zwei getrennte Fragen

Bei einem RAG-System kann viel schiefgehen: Entweder die Suche findet nicht die richtigen Dokumente (Retrieval-Problem), oder das Modell nutzt gefundene Dokumente falsch (Generierungs-Problem). Wer nur die fertige Antwort bewertet, vermischt beide Ursachen und weiß am Ende nicht, wo der eigentliche Fehler liegt.

Precision und Recall für Retrieval

Precision misst, wie viele der gefundenen Dokumente tatsächlich relevant waren – hohe Precision heißt wenig Rauschen im Kontext. Recall misst, wie viele der eigentlich relevanten Dokumente überhaupt gefunden wurden – hoher Recall heißt, nichts Wichtiges wurde übersehen. Beide Werte ziehen oft in entgegengesetzte Richtungen: Mehr Dokumente holen erhöht meist den Recall, senkt aber tendenziell die Precision.

Ein Testfragen-Set aufbauen

Für belastbare Evaluation brauchst du Testfragen mit bekannter, korrekter Antwort und den dazugehörigen Dokumenten, die die Antwort tatsächlich enthalten. Ohne diese Referenz lässt sich Precision und Recall gar nicht berechnen – nur schätzen.

Typische Fehlerquellen

Zu grobes oder zu feines Chunking zerreißt oder verwässert relevante Passagen. Ein ungeeignetes Embedding-Modell erkennt Bedeutungsähnlichkeit schlecht. Und fehlende Synonym-Behandlung sorgt dafür, dass eine Frage mit anderen Wörtern als das Dokument leer ausgeht, obwohl die Antwort eigentlich vorhanden wäre.

BEISPIEL

Testfrage: 'Wie hoch ist die Rückerstattungsfrist laut AGB?' Referenz-Dokument: Abschnitt 4.2 der AGB, enthält die korrekte Frist. Retrieval-Ergebnis (Top 3 Treffer): [Abschnitt 4.2 ✓ relevant, Abschnitt 7.1 ✗ irrelevant, Abschnitt 4.2 (Duplikat) ✓ relevant] → Precision = 2/3 (zwei von drei Treffern relevant) → Recall = 1/1 (das eine relevante Dokument wurde gefunden) Würde Abschnitt 4.2 gar nicht in den Top-3-Treffern erscheinen, läge Recall bei 0 – unabhängig davon, wie gut das Modell danach mit den falschen Treffern umgeht.

🛠️ ÜBUNG — MACH DAS BEI DIR

Baue ein kleines Testfragen-Set für ein eigenes (oder fiktives) RAG-System und berechne Precision und Recall von Hand.

Wähle 10 Fragen zu einem Dokumentenbestand, den du kennst, und markiere für jede Frage das oder die tatsächlich relevanten Dokumente.
Lass dein RAG-System (oder eine manuelle Stichwortsuche als Ersatz) für jede Frage die Top-3-Treffer liefern.
Zähle pro Frage, wie viele der 3 Treffer relevant waren (Precision) und ob das relevante Dokument überhaupt dabei war (Recall).
Bilde den Durchschnitt über alle 10 Fragen.

✅ SELBST-CHECK

☐ Gab es Fragen mit hoher Precision, aber niedrigem Recall (relevante Treffer fehlten komplett)?
☐ Kannst du für mindestens eine schwache Frage benennen, ob die Ursache eher Chunking, Embedding-Wahl oder fehlende Synonyme war?

KURZ-QUIZ

Warum reicht es nicht, bei einem RAG-System nur die fertige Antwort zu bewerten?