RAG (Retrieval-Augmented Generation)

RAG holt vor der Antwort passende Dokumente aus einer Datenbank – so kann eine KI Wissen nutzen, das nicht im Training steckte.

Das Problem

Ein LLM kennt nur, was beim Training in seinen Gewichten gelandet ist. Aktuelle Ereignisse, interne Firmendokumente oder deine private Wissensdatenbank kennt es nicht – es sei denn, du gibst sie im Prompt mit. Bei tausenden Dokumenten passt das aber nicht mehr in ein Kontextfenster.

Die Lösung: Retrieval-Augmented Generation

RAG kombiniert eine Suche mit der Text-Generierung. Statt alles Wissen ins Modell zu pressen, läuft bei jeder Anfrage automatisch dieser Ablauf: Deine Frage wird in einen Embedding-Vektor umgewandelt, damit werden die ähnlichsten Textausschnitte aus einer Datenbank gesucht (Retrieval), und nur diese wenigen relevanten Ausschnitte werden zusammen mit deiner Frage ins Kontextfenster gegeben. Das LLM formuliert die Antwort dann auf Basis dieses mitgelieferten Materials.

Warum das nützlich ist

Aktuelles und privates Wissen nutzbar machen, ohne das Modell neu zu trainieren
Weniger Halluzination, weil die Antwort auf echten, mitgelieferten Quellen basiert statt auf reinem Auswendiggelerntem
Antworten lassen sich mit Quellenangaben belegen

Eine Verfeinerung

Anthropic beschreibt mit "Contextual Retrieval" eine Technik, bei der jedem Textausschnitt vor dem Einbetten zusätzlicher Kontext aus dem Gesamtdokument hinzugefügt wird – das verbessert, wie zuverlässig die richtigen Ausschnitte gefunden werden, deutlich.