Agentic RAG: Definition, Bausteine, Abgrenzung zu RAG

Agentic RAG bezeichnet eine Erweiterung von Retrieval-Augmented Generation (RAG, das Nachschlagen von Wissen aus externen Quellen vor der Antwort eines Sprachmodells), bei der ein Agent (ein KI-Programm, das eigenständig Zwischenschritte plant) die Suche aktiv steuert: Suchanfragen umformuliert, mehrere Quellen und Werkzeuge auswählt, Zwischenergebnisse bewertet und bei Bedarf mehrfach nachfragt, statt eine einzelne Suchanfrage passiv weiterzugeben.

Was ist Agentic RAG?

Agentic RAG kombiniert zwei bereits etablierte Muster. Der klassische [RAG-Kern](https://arxiv.org/abs/2005.11401) (Lewis et al., 2020) verbindet ein Sprachmodell mit einer externen Wissensquelle (zum Beispiel einer Sammlung interner Dokumente): Die Frage wird in eine mathematische Zahlenreihe übersetzt (Vektor), damit ein Suchindex ähnliche Textstellen findet; diese Treffer bekommt das Modell zusammen mit der Frage übergeben. Der Agenten-Loop ergänzt darüber eine Steuerungsschicht, die Zwischenschritte plant, Werkzeuge auswählt, eigene Ergebnisse prüft (Reflexion) und sich den aktuellen Bearbeitungsstand merkt. Diese Schicht trifft Such-Entscheidungen zur Laufzeit, statt sie in einer festen Ablauf-Kette vorzugeben.

Zu den typischen Bausteinen einer Agentic-RAG-Architektur gehören ein Query-Router, der eine Frage einer passenden Quelle oder einem Index zuweist, ein Query-Rewriter, der ambige oder zu breite Anfragen präzisiert, mehrere Retrieval-Werkzeuge (Vector-Search, Volltext-Suche, SQL-Datenquellen, Web-Suche, APIs), ein Reranker zur Treffer-Sortierung und ein Reflexions-Schritt, der die Antwort gegen die Frage und die Quellen prüft. Der Agent entscheidet, welcher dieser Bausteine wann eingesetzt wird und wann die Schleife endet.

Der Begriff hat sich 2023 und 2024 im Feld herausgebildet, im Umfeld der Frameworks LangChain, LlamaIndex und DSPy. Anthropics [„Building Effective Agents"](https://www.anthropic.com/research/building-effective-agents) (Dezember 2024) beschreibt zugrundeliegende Muster wie Router, Orchestrator-Worker und Evaluator-Optimizer, die viele Agentic-RAG-Systeme kombinieren. Der Berkeley-Frame [Compound AI Systems](https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/) ordnet Agentic RAG als Ausprägung ein, in der ein Retrieval-Werkzeug in eine agentische Komposition eingebettet ist. Eine [Survey von Singh et al.](https://arxiv.org/abs/2501.09136) (2025) systematisiert die Varianten.

Der Begriff existiert, weil klassisches One-Shot-RAG an Grenzen stößt, sobald eine Frage mehrstufig ist, Widersprüche zwischen Quellen aufkommen oder eine einzelne Suche nicht genug Kontext liefert. Agentic RAG adressiert diese Fälle durch Iteration, Werkzeug-Vielfalt und Zwischenergebnis-Prüfung. Der Preis dafür sind höhere Latenz, mehr Modell-Aufrufe und eine schwerer zu debuggende Laufzeit.

Abgrenzung zu RAG, Agentic AI und Graph-RAG

Der Begriff wird im Markt häufig mit angrenzenden Konzepten vermischt. Die relevanten Unterschiede:

Begriff	Rolle	Verhältnis zu Agentic RAG
Retrieval-Augmented Generation (RAG)	One-Shot-Pipeline: eine Anfrage, ein Retrieval, eine Antwort	Basismuster; Agentic RAG ergänzt einen Steuer-Loop
Agentic AI	Systemklasse: agentische Anwendungen allgemein	Oberbegriff; Agentic RAG ist eine Teilmenge mit Retrieval-Fokus
Graph-RAG	RAG-Variante mit Wissensgraph als Quelle	Quelltyp-Variante; orthogonal zur Agenten-Steuerung
Multimodal-RAG	RAG-Variante mit Bild-, PDF-, Tabellen-Retrieval	Quelltyp-Variante; orthogonal zur Agenten-Steuerung
Long-Context-Modelle	Sehr großes Kontextfenster ohne Retrieval	Alternative zu RAG; Agentic RAG erweitert Retrieval statt es zu ersetzen

Der wichtigste Unterschied liegt gegenüber klassischem RAG. Dort läuft eine feste Pipeline: eine Anfrage geht in einen Vektor, dieser gegen einen Index, die Top-Treffer landen im Prompt. In Agentic RAG entscheidet ein Agent, ob er einmal sucht oder mehrfach, welche Suchform passt, ob eine zweite Quelle gebraucht wird und ob das Zwischenergebnis reicht. Der [NVIDIA-Developer-Blog](https://developer.nvidia.com/blog/traditional-rag-vs-agentic-rag-why-ai-agents-need-dynamic-knowledge-to-get-smarter/) beschreibt den Unterschied als „schnelle Abfrage" versus dynamisches Management der Informationsbeschaffung.

Gegenüber Agentic AI ist Agentic RAG die engere Kategorie. Agentic AI umfasst jede Anwendung mit Handlungs- und Werkzeug-Autonomie; Agentic RAG hat einen Schwerpunkt: Retrieval als zentrale Aufgabe. Graph-RAG und Multimodal-RAG sind Varianten nach Quelltyp und können mit oder ohne Agent laufen. Long-Context-Modelle sind eine Alternative zum Retrieval selbst und kein Agent-Muster.

Beispiel: Multi-Source-Wissensassistent

Ein interner Wissensassistent soll eine mehrteilige Betriebsfrage beantworten: „Welche Wartungsintervalle sind für die Anlagen der Serie X vorgeschrieben, und welche Ersatzteile sind aktuell im Lager verfügbar?"

In einer klassischen RAG-Pipeline würde die Frage als Vektor gegen einen Handbuch-Index gestellt. Der Index enthält keine Bestandsdaten; die Antwort bliebe unvollständig oder halluziniert. In der agentischen Variante zerlegt der Agent die Frage in zwei Teilfragen. Für die Wartungsintervalle ruft er den Handbuch-Index über Vector-Search auf und liest die Abschnitte zur Serie X. Für die Ersatzteil-Verfügbarkeit ruft er ein SQL-Werkzeug gegen die Lagerdatenbank auf. Er prüft, ob die Handbuch-Angabe zur Seriennummer passt, formuliert eine einheitliche Antwort und ergänzt beide Quellen als Referenz. Fehlt eine Datenquelle, meldet er die Lücke, statt eine Antwort zu erfinden.

Die vier Bausteine sind konkret: ein Sprachmodell als Reasoning-Kern, eine Tool-Registry mit Vector-Search und SQL-Zugriff, ein Kurzzeit-State (die Teilfragen, die Zwischenergebnisse, die Quellen) und ein einfacher Kontrollfluss, der die Schleife nach der Konsistenzprüfung beendet. Erweiterungen mit Reranker, Query-Rewriting oder mehreren spezialisierten Agenten sind für tiefere Korpora sinnvoll, für den Grundfall aber nicht nötig.