Multimodal RAG: Definition, Muster, Abgrenzung zu RAG

Multimodal RAG ist eine Variante von RAG (Retrieval-Augmented Generation, also einem Sprachmodell, das seine Antworten auf gefundene Quellen stützt), die neben Text auch Bilder, PDF-Seiten, Tabellen und teilweise Audio oder Video als Wissensquelle nutzt. Statt diese Inhalte vorab in Text zu übersetzen, reicht das System sie direkt an ein Sprachmodell weiter, das Bild und Text gemeinsam versteht.

Was ist Multimodal RAG?

Multimodal RAG verbindet zwei Bausteine: eine Suche über nicht-textuelle Quellen und ein Sprachmodell, das mit Bildern umgehen kann. Klassisches RAG arbeitet nur mit Text. Es zerlegt Dokumente in Abschnitte, wandelt jeden Abschnitt in eine Zahlenrepräsentation (ein sogenanntes Embedding) um und findet zu einer Frage die ähnlichsten Textabschnitte ([Lewis et al., 2020](https://arxiv.org/abs/2005.11401)). Multimodal RAG erweitert diese Idee um zwei Dinge: eine Suche, die auch Bilder oder gescannte Seiten findet, und ein Vision-Language-Modell (ein Sprachmodell, das Bild und Text zusammen verarbeitet, kurz VLM), das die gefundenen Bilder direkt liest.

Im Feld haben sich drei Architektur-Muster stabilisiert, die [NVIDIA in einer Übersicht](https://developer.nvidia.com/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation/) so beschreibt. Erstens die Einbettung aller Modalitäten in einen gemeinsamen Vektorraum über Modelle wie [CLIP](https://arxiv.org/abs/2103.00020) oder SigLIP, sodass eine Textanfrage sowohl Textabschnitte als auch Bilder findet. Zweitens die Verankerung aller Modalitäten in einer primären Modalität. Dabei werden Bilder per Vision-Language-Modell in beschreibende Texte übersetzt und anschließend rein textlich indexiert. Drittens getrennte Indizes pro Modalität mit einem dedizierten multimodalen Re-Ranker, der die Treffer über die Modalitäten hinweg zusammenführt.

Ein vierter, jüngerer Ansatz betrifft speziell PDF- und Dokumenten-Retrieval. Das [ColPali-Verfahren](https://arxiv.org/abs/2407.01449) (Faysse et al., 2024) bettet ganze Seiten als Bild ein, statt sie per OCR und Layout-Parser in Text zu zerlegen. Damit bleiben Tabellen, Diagramme, Formeln und Layout-Information erhalten. Ein Vision-Language-Modell liest die gefundene Seite zur Antwortzeit direkt aus dem Bild.

Der Begriff existiert, weil klassisches RAG einen relevanten Teil der Unternehmenswissensbasis verliert. Wartungshandbücher, technische Zeichnungen, Präsentationen, Screenshots und Handbuchseiten mit komplexen Tabellen enthalten Information, die eine OCR-Vorverarbeitung häufig zerstört. Multimodal RAG adressiert diese Klasse von Quellen, indem die visuelle Ebene entweder gemeinsam mit Text indexiert oder als Bild in das Sprachmodell gereicht wird. Der Preis ist ein aufwendigeres System: multimodale Embedding-Modelle, größere Index-Volumina (Bild-Embeddings sind meist hochdimensionaler), höhere Inferenz-Kosten pro Anfrage und ein anspruchsvolleres Evaluations-Setup.

Abgrenzung zu RAG, Agentic RAG und Graph RAG

Der Begriff wird häufig mit angrenzenden Konzepten vermischt.

Begriff	Rolle	Verhältnis zu Multimodal RAG
Klassisches RAG	Retrieval über Text-Embeddings, Generation aus Textkontext	Multimodal RAG ist eine Modalitäts-Erweiterung; klassisches RAG ist der Fall „nur Text"
Agentic RAG	Steuerungsmuster: Agent plant und iteriert Retrieval	Orthogonal; ein Agent kann Multimodal RAG als Werkzeug einsetzen
Graph RAG	Quelltyp-Variante mit Wissensgraph als Retrieval-Basis	Andere Achse: Struktur statt Modalität; beides kombinierbar
Vision-Language-Modelle	Modellklasse, die Bild und Text gemeinsam verarbeitet	Voraussetzung, kein System (Multimodal RAG setzt solche Modelle auf einen Retriever)
Document Intelligence	Vorverarbeitung: Layout, Tabellen, Felder aus Dokumenten extrahieren	Alternative oder Vorstufe: Multimodal RAG kann sie ersetzen oder ergänzen

Die wichtigste Abgrenzung betrifft klassisches Text-RAG. Beide beantworten Fragen mit einem Sprachmodell über einem externen Wissensspeicher. Der Unterschied liegt in dem, was zwischen Quelle und Modell passiert. Text-RAG verlangt eine saubere Text-Repräsentation der Quelle; alles Nicht-Textuelle geht in der Vorverarbeitung verloren. Multimodal RAG verzichtet auf diese Übersetzung und reicht Bild- oder Seiten-Repräsentationen direkt an ein Vision-Language-Modell weiter.

Gegen Agentic RAG abgegrenzt: Die beiden Begriffe beschreiben verschiedene Dimensionen. Agentic RAG regelt, wer den Retrieval-Loop steuert (feste Pipeline oder Agent). Multimodal RAG regelt, welche Modalitäten der Retriever und das Generator-Modell verarbeiten. Ein agentisches System kann Text-RAG, Multimodal RAG oder beides als Werkzeuge aufrufen.

Gegen Graph RAG abgegrenzt: Graph RAG variiert die Struktur der Wissensbasis (Wissensgraph statt Vektor-Index), Multimodal RAG variiert die Modalität der Wissensbasis. Ein System kann durchaus einen Wissensgraphen über multimodalen Quellen aufbauen; die Achsen sind unabhängig.

Gegen Vision-Language-Modelle abgegrenzt: Ein VLM wie [GPT-4V](https://openai.com/index/gpt-4v-system-card/), Claude 3 oder Gemini ist eine Modellklasse, kein System. Multimodal RAG ist das umgebende Retrieval-System: Index, Suche, Re-Ranking, Kontext-Bau. Ohne VLM ist Multimodal RAG nicht sinnvoll umsetzbar, aber ein VLM allein ist noch kein RAG-System.

Beispiel: Wartungshandbücher als PDF durchsuchbar machen

Ein interner technischer Assistent soll Fragen über einen Bestand von rund tausend Wartungshandbüchern als PDF beantworten. Die Handbücher enthalten Fließtext, Warnhinweise als Kastentext, technische Tabellen mit verbundenen Zellen, Explosionszeichnungen mit beschrifteten Bauteilen und Schaltpläne.

In einer klassischen Text-RAG-Pipeline würden die PDFs per OCR und Layout-Parser in Text konvertiert. Explosionszeichnungen erscheinen als isolierte Beschriftungs-Wörter ohne räumliche Beziehung. Tabellen mit verbundenen Zellen brechen. Schaltpläne verschwinden. Eine Frage wie „Welche Sicherheitsabstände zeigt die Explosionszeichnung von Bauteil X?" hätte in dieser Pipeline keine Antwort, obwohl die Information im Handbuch steht.

Im ColPali-artigen Multimodal-RAG-Aufbau werden die PDFs seitenweise als Bild eingebettet. Der Retriever findet zur Frage die passenden Seiten und liefert sie als Bild-Kontext an ein Vision-Language-Modell. Das Modell liest die Explosionszeichnung, erkennt die beschrifteten Maße und antwortet mit Verweis auf Handbuch und Seitenzahl. Die Vorverarbeitung entfällt vollständig; der Index enthält Bild-Embeddings statt Text-Chunks.

Der Preis lässt sich benennen. Bild-Embeddings sind größer als Text-Embeddings, der Index wächst entsprechend. Jede Antwort läuft über ein Vision-Language-Modell und ist teurer als eine reine Text-Anfrage. Die Evaluation wird schwieriger, weil Standard-Retrieval-Metriken für Text-Chunks nicht direkt auf Seiten-Bilder übertragbar sind. Für ein Korpus, das überwiegend aus reinem Fließtext besteht, trägt der Aufwand nicht. Klassisches Text-RAG bleibt in diesem Fall schneller und billiger. Der Ansatz lohnt sich dort, wo Layout, Grafik oder Tabellen den Informationsträger stellen.