Retrieval-Augmented Generation (RAG) bezeichnet ein Muster, bei dem ein Sprachmodell zur Beantwortung einer Frage erst passende Dokumente aus einem eigenen Datenbestand sucht und diese Textstellen zusammen mit der Frage an das Modell übergibt. Die Antwort stützt sich damit nicht nur auf das Wissen, mit dem das Modell trainiert wurde, sondern auf eine eigene, jederzeit aktualisierbare Wissensquelle (etwa Handbücher, Verträge oder Wiki-Seiten).
Was ist Retrieval-Augmented Generation?
RAG verbindet zwei Bausteine, die getrennt voneinander entwickelt und betrieben werden. Der Suchschritt (englisch „Retrieval") wandelt die Frage in eine numerische Darstellung (einen sogenannten Vektor) um, vergleicht sie mit einem Suchindex und gibt die passendsten Dokumente oder Textabschnitte zurück. Als Suchindex kommt eine klassische Stichwortsuche, eine sinnbasierte Vektorsuche oder eine Kombination aus beidem (Hybrid) in Frage. Der Antwortschritt (englisch „Generation") übergibt diese Treffer zusammen mit der ursprünglichen Frage an ein Sprachmodell, das daraus eine Antwort formuliert. Beide Schritte lassen sich einzeln optimieren: das Modell unabhängig von der Wissensbasis, der Index unabhängig vom Modell.
Typische Komponenten einer RAG-Architektur sind ein Embedding-Modell zur Vektorisierung, ein Vektor- oder Hybrid-Index (etwa Mosaic AI Vector Search, pgvector oder Pinecone), eine Chunking- und Ingest-Pipeline für die Dokumentenaufbereitung, optional ein Reranker zur Treffer-Sortierung sowie das Sprachmodell selbst. Der Begriff geht auf eine Veröffentlichung von Lewis et al. (2020, „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks") zurück. Seit 2023 hat sich das Muster als Standard-Architektur für Wissensassistenten, Dokumenten-Q&A und unternehmensinterne Sprachmodell-Anwendungen etabliert.
RAG adressiert drei Schwächen reiner Modellantworten: fehlendes aktuelles Wissen, fehlendes domänen- oder unternehmensspezifisches Wissen und mangelnde Nachvollziehbarkeit. Da Wissensquelle und Modell getrennt sind, lassen sich Inhalte aktualisieren, ohne das Modell neu zu trainieren. Antworten können auf die zugrundeliegenden Quellen verweisen, was Audit und Validierung erleichtert. Eine Garantie gegen Halluzinationen ist RAG dennoch nicht: Sind die abgerufenen Dokumente irrelevant oder widersprüchlich, kann das Modell trotzdem falsch antworten.
Abgrenzung: RAG, Prompt-Engineering, Fine-Tuning und Long-Context
Der Begriff wird häufig in Abgrenzung zu anderen Verfahren der Modellanpassung verwendet.
| Verfahren | Was wird angepasst? | Wann passend? |
|---|---|---|
| Prompt-Engineering | Nur der Prompt | Aufgaben, die das Modell mit vortrainiertem Wissen lösen kann |
| RAG | Externe Wissensquelle wird in den Prompt eingefügt | Dynamische oder unternehmensinterne Faktenbasis |
| Fine-Tuning | Modellgewichte selbst | Stilistische oder fachsprachliche Anpassung des Modellverhaltens |
| Long-Context-Modelle | Sehr großes Kontextfenster (1M+ Token) | Kleine, statische Korpora ohne dauerhaften Index |
Im operativen Einsatz schließen sich diese Verfahren nicht aus. Ein fein abgestimmtes Modell kann RAG-Treffer besser interpretieren, und Long-Context-Modelle können in einer RAG-Pipeline mehr Treffer auf einmal verarbeiten. Mit dem Wachstum der Kontextfenster diskutiert das Feld unter dem Stichwort long-context-vs-rag, wann ein Index wirtschaftlicher ist als das Laden ganzer Korpora in den Prompt. Erweiterte Formen tragen eigene Namen: agentic-rag (ein Agent steuert mehrere Suchanfragen und Tool-Aufrufe), graph-rag (Wissensgraph als Quelle) und multimodal-rag (Bild-, PDF- und Tabellen-Retrieval).
Beispiel: Wissensassistent für Wartungshandbücher
Ein interner Wissensassistent beantwortet Fragen zu Wartungsintervallen einer Maschinenflotte. Die technischen Handbücher liegen als PDFs im Lakehouse. Eine Ingest-Pipeline zerlegt sie in Textabschnitte (Chunks), erzeugt mit einem Embedding-Modell Vektoren und legt diese in einem Hybrid-Index ab. Stellt eine Anwendung die Frage „Wann muss die HP-450 zur Inspektion?", wird die Frage in einen Vektor übersetzt, gegen den Index gestellt und liefert die passenden Handbuch-Abschnitte zurück. Diese Treffer reicht das System zusammen mit der Frage an ein Sprachmodell weiter. Die Antwort enthält die korrekte Intervallangabe und kann auf die zugrundeliegenden Quellen verweisen. Das ist die Voraussetzung dafür, dass das Ergebnis nachvollziehbar bleibt und in der Pflege oder im Audit standhält.
Retrieval-Augmented Generation im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.