Multimodal AI

Multimodal AI bezeichnet KI-Systeme, die mehr als eine Art von Inhalt verarbeiten, typischerweise eine Kombination aus Text, Bild, Audio und Video. Jede dieser Inhalts-Arten heißt Modalität. Ein multimodales System nimmt also zum Beispiel ein Bild und eine dazugehörige Frage als Text entgegen und antwortet in Text, oder es hört einer Sprachaufnahme zu und schreibt eine Zusammenfassung.

Was ist Multimodal AI?

Multimodal AI ist ein Sammelbegriff für ein ganzes Feld, kein einzelner Modell-Typ. Der Begriff umfasst Systeme, die mit mindestens zwei Modalitäten (Inhalts-Arten wie Text, Bild, Audio, Video) arbeiten, und deckt drei Ebenen ab: die konkreten Modelle (etwa GPT-4o oder Gemini 2.0), die typischen Bau-Muster (zum Beispiel ein Modell, das Bild und Text zusammen versteht) und die Anwendungen (Rechnungen aus PDFs auslesen, Videos durchsuchen, Sprach-Assistenten im Support). Früher wurde jede Modalität in einer eigenen Disziplin bearbeitet: Text in der Sprachverarbeitung (Natural Language Processing, NLP), Bilder in der Bildverarbeitung (Computer Vision, CV), gesprochene Sprache in der Spracherkennung (Automatic Speech Recognition, ASR). Multimodal AI beschreibt die Zusammenführung dieser Disziplinen: ein System behandelt den Wechsel zwischen Text, Bild oder Ton als reine Format-Frage und nicht als Systembruch.

Als Modalitäten gelten in der aktuellen Praxis (Stand 2026) primär vier Klassen: Text, Bild (Standbild, Screenshot, Diagramm), Audio (Sprache, Musik, Umgebungston) und Video. In enger gefasster Definition zählen auch Sensor- und Zeitreihen-Daten sowie strukturierte Tabellen dazu, sofern das Modell sie als eigene Eingabe-Modalität behandelt und nicht in Text umschreibt. Ein System gilt als multimodal, wenn es entweder in mehreren Modalitäten Eingaben entgegennimmt (Bild plus Text als Frage-Kontext), in mehreren Modalitäten Ausgaben erzeugt (Text plus Bild als Antwort) oder beides.

Technisch gibt es zwei Bau-Muster. Natively multimodale Foundation Models werden von Grund auf mit gemeinsamen Repräsentationen über mehrere Modalitäten trainiert. GPT-4o (OpenAI 2024), Gemini 1.5 und 2.0 ([Google DeepMind 2024](https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf)), Claude 3 und 4 sowie Llama 3.2 Vision sind Beispiele für diesen Weg. Compound-multimodale Systeme setzen spezialisierte Modelle über eine Orchestrierungsschicht zusammen: ein Text-LLM übernimmt das Reasoning, ein Vision-Modell wandelt Bilder in Beschreibungen um, ein Speech-Modell liefert Transkript und Sprachausgabe. Beide Bau-Muster erfüllen die Multimodal-AI-Definition, unterscheiden sich aber in Latenz, Kosten und Fehlerbild.

Die Begriffs-Karriere ist jung. CLIP ([Radford et al. 2021](https://arxiv.org/abs/2103.00020)) etablierte die kontrastive Ausrichtung von Bild- und Text-Repräsentationen und legte die technische Grundlage für Vision-Language-Modelle. Flamingo ([Alayrac et al. 2022](https://arxiv.org/abs/2204.14198)) zeigte multimodales Few-Shot-Learning in einem einzelnen Modell. GPT-4V (2023) und GPT-4o (Mai 2024) machten multimodale Chats für den Massenmarkt sichtbar. Gemini 1.5 etablierte den Long-Context über Video und Audio in einem Modell. Seither ist Multimodal AI der Sammelbegriff für die Modell- und Anwendungs-Familie, in der Modalitäten nicht mehr in getrennten Pipelines verarbeitet werden.

Abgrenzung zu Multimodal Models, Generative AI und Computer Vision

Multimodal AI wird häufig mit Nachbar-Begriffen vermischt. Die relevanten Trennlinien:

Multimodal Models sind die Modell-Klasse innerhalb des Feldes. GPT-4o, Gemini 2.0, Claude 4 und Llama 3.2 Vision sind konkrete Multimodal Models. Jedes Multimodal Model ist Teil von Multimodal AI, aber Multimodal AI umfasst auch Compound-Architekturen, in denen kein einzelnes Modell multimodal ist, das Gesamtsystem aber mit mehreren Modalitäten arbeitet.

[Generative AI](/insights/glossar/generative-ai/) beschreibt eine andere Achse. Multimodal AI beantwortet die Frage: mit wie vielen Modalitäten arbeitet das System? Generative AI beantwortet die Frage: erzeugt das System neue Inhalte? Ein multimodaler Klassifikator, der Bild und Text kombiniert und daraus eine Kategorie ableitet, ist Multimodal AI ohne generativen Anteil. Ein reines Text-LLM ist Generative AI ohne multimodale Fähigkeit. Die meisten produktiven 2026er Systeme fallen in den Schnittbereich beider Kategorien: sie sind generativ und multimodal.

[Computer Vision](/insights/glossar/computer-vision/) war lange die eigenständige Disziplin für Bildverarbeitung. In der Praxis 2025 und 2026 geht ein Teil klassischer CV-Aufgaben in Multimodal AI auf: Vision-Language-Modelle erledigen Klassifikation, einfache Detektion, OCR und Bild-Beschreibung mit einem allgemeinen Modell. Spezialisierte CV-Modelle bleiben Standard, wenn Latenz, Kosten oder Genauigkeit es verlangen, etwa bei industrieller Qualitätskontrolle oder Echtzeit-Erkennung auf Edge-Geräten. Der Feld-Begriff Computer Vision überlappt mit Multimodal AI, ist aber enger auf die visuelle Modalität begrenzt.

[Foundation Models](/insights/glossar/foundation-models/) sind die Modell-Basis, auf der die meisten Multimodal-AI-Systeme aufbauen. Multimodale Foundation Models sind eine Teilmenge: reine Text-Modelle bleiben Foundation Models ohne multimodale Fähigkeit, und nicht jede Multimodal-AI-Anwendung nutzt ein Foundation Model. Klassische Fusion-Modelle in der Sensorik (Radar plus Kamera in der autonomen Mobilität) sind Multimodal AI ohne Foundation-Model-Basis.

Beispiel: Dokumentenverstehen mit einem multimodalen Modell

Ein Fachbereich empfängt eingehende Rechnungen als PDF-Scans. Klassisch läuft die Extraktion strukturierter Felder (Rechnungsnummer, Positionen, Beträge, Rechnungsdatum) über eine getrennte Pipeline: ein OCR-Modell wandelt die Bilder in Text um, ein Layout-Modell erkennt Tabellen und Feldpositionen, ein NLP-Modell extrahiert die Werte. Jede Stufe hat eigene Fehlerquellen (OCR-Fehler bei schlechter Scan-Qualität, Layout-Fehler bei ungewohnten Rechnungs-Vorlagen, NLP-Fehler bei Zeilenumbrüchen mitten in Feldern).

Mit einem multimodalen Foundation Model wie GPT-4o, Gemini 2.0 oder Claude 4 läuft die Extraktion in einem Aufruf. Das Modell erhält das Rechnungs-Bild und einen Prompt mit dem gewünschten Ausgabe-Schema (JSON-Struktur mit den benötigten Feldern) und liefert die extrahierten Werte direkt zurück. Layout-Verständnis, Textverstehen und Feld-Mapping laufen im selben Modell. Für einfache Rechnungs-Vorlagen und moderate Volumen ist der Weg genauer und wartungsärmer als die klassische Pipeline. Für hohe Volumen mit engem Kosten-Rahmen bleibt die klassische Pipeline oft günstiger, weil OCR- und Layout-Modelle mit unter zehn Millisekunden pro Seite laufen, während ein multimodales Foundation Model im Sekunden-Bereich antwortet.

Dasselbe Muster trägt weitere Anwendungen: Screenshot-basiertes Debugging (Fehlerdialog plus Kontext-Text → erklärter Fehler mit Lösungs-Vorschlag), Meeting-Analyse (Audio-Aufzeichnung plus Folien-Screenshots → Zusammenfassung mit Aktionspunkten), Voice-Agent im Kundensupport (Audio ein und aus plus Text-Reasoning), Video-Suche in Media-Archiven (natürlich-sprachliche Anfrage → Zeitstempel mit Beschreibung). Der gemeinsame Nenner: die Anwendung verbindet Modalitäten, die früher in getrennten Systemen bearbeitet wurden, in einem Verstehens- oder Erzeugungs-Schritt.