Multimodal Models: Definition, Modell-Familien, Abgrenzung

Multimodal Models sind KI-Modelle, die mehrere Eingabe-Arten (im Fachjargon Modalitäten) wie Text, Bild, Audio und Video in einem einzigen Modell gemeinsam verarbeiten, statt für jede Art ein eigenes Modell zu benötigen. Ein Bild und ein Text landen dabei in derselben internen Zahlen-Darstellung (dem gemeinsamen Latent-Space) und lassen sich zusammen auswerten. Vertreter sind GPT-4o (OpenAI, 2024), Gemini 2.5 (Google), Claude Sonnet 4 (Anthropic) sowie offene Systeme wie Llama 3.2 Vision oder Qwen2-VL und der Bild-Text-Encoder CLIP.

Was ist ein Multimodal Model?

Ein Multimodal Model ist ein Modell, das mehrere Eingabe-Arten (Modalitäten wie Text, Bild, Audio, Video) im selben Rechenweg verarbeitet, statt für jede Art ein eigenes Modell hintereinanderzuschalten. Ein Foto und ein geschriebener Text werden dafür jeweils in eine Zahlen-Darstellung (Embedding) übersetzt und landen im selben internen Raum, dem gemeinsamen Latent-Space. Für die Übersetzung sorgen sogenannte Encoder pro Modalität, etwa ein Vision Transformer (Bild-Encoder auf Transformer-Basis) für Bilder oder ein Whisper-basierter Encoder (das offene Audio-Modell von OpenAI) für Ton. Beide erzeugen daraus Token (kleine Zahlen-Einheiten, aus denen auch Text-Modelle bestehen), die anschließend Seite an Seite mit Text-Token durch das Modell laufen. Für die späteren Schichten spielt es keine Rolle mehr, aus welcher Modalität ein Token stammt.

Zwei Trainings-Ansätze dominieren die Kategorie. Kontrastives Training auf gepaarten Bild-Text-Daten wie in CLIP ([Radford et al. 2021](https://arxiv.org/abs/2103.00020)) richtet Bild- und Text-Embeddings in einem gemeinsamen Vektor-Raum aus. Unified-Token-Ansätze wie in Chameleon ([Meta 2024](https://arxiv.org/abs/2405.09818)), Gemini oder GPT-4o kodieren Bild-, Audio- und Video-Signale in Token-Sequenzen und schicken sie gemeinsam mit Text-Token durch einen Transformer. Der Unterschied ist wichtig: kontrastive Modelle erzeugen ausrichtbare Embeddings ohne generative Fähigkeit, unified-Token-Modelle können in jeder trainierten Modalität sowohl verstehen als auch erzeugen.

Die Modalitäts-Kombinationen reichen weit. Text und Bild bilden die häufigste Kombination unter dem Namen Vision-Language Models (CLIP, LLaVA, GPT-4V, Claude Sonnet 4). Text und Audio kombinieren Qwen-Audio und GPT-4o Realtime. Text plus Bild plus Audio plus Video decken Gemini 2.5 und GPT-4o ab. Bild-Video-Generatoren wie Sora oder Veo bilden eine eigene Gruppe. Kanäle können Eingabe, Ausgabe oder beides sein: ein Bild-Klassifikator mit Text-Ausgabe ist genauso multimodal wie ein Text-zu-Video-Generator.

Historisch markieren wenige Meilensteine den Weg. CLIP (2021) verankerte Bild und Text erstmals in einem breit vortrainierten gemeinsamen Latent-Space und wurde zum De-facto-Encoder für Text-to-Image-Modelle wie Stable Diffusion oder DALL-E. GPT-4V (2023) brachte multimodales Verstehen in ein Frontier-LLM-Chat-Interface. GPT-4o ([OpenAI 2024](https://openai.com/index/hello-gpt-4o/)) war das erste end-to-end trainierte Text-Bild-Audio-Modell mit Realtime-Fähigkeit. Gemini 1.5 und 2.5 ([Google DeepMind 2024](https://arxiv.org/abs/2403.05530)) führten Long-Context-Multimodalität mit bis zu Millionen Tokens Bild-, Audio- und Video-Kontext ein.

Abgrenzung zu Multimodal AI, LLM, Foundation Model und VLM

Die verwandten Begriffe werden häufig synonym verwendet, meinen aber unterschiedliche Ausschnitte:

Begriff	Fokus	Verhältnis zu Multimodal Model
Multimodal AI	Feld/Disziplin für Systeme mit mehreren Modalitäten (inklusive Pipelines aus unimodalen Modellen)	Multimodal Models sind die Modell-Klasse innerhalb dieses Feldes; eine Pipeline aus OCR plus Bildklassifikator plus LLM ist Multimodal AI, aber ohne Multimodal Model
Large Language Model	Text-Token als Ein- und Ausgabe (einmodal)	Ein multimodales Modell mit Text-Kanal enthält oft eine LLM-Komponente als Decoder, ist selbst aber kein LLM; GPT-4 (Text) ist ein LLM, GPT-4o (Text+Bild+Audio) ein Multimodal Model
Foundation Model	Breit vortrainiertes Modell, aufgaben-offen (Oberkategorie, orthogonal zur Modalität)	Ein Multimodal Model kann ein Foundation Model sein (GPT-4o, Gemini) oder aufgaben-spezifisch (z. B. medizinisches Vision-Language-Modell für Radiologie)
Image / Audio / Video Model	Einmodale Nachbar-Kategorien mit einer Modalität	Verarbeiten nur eine Modalität; ein reines Text-to-Image-Modell wie Stable Diffusion nutzt intern CLIP als Encoder, gilt aber als Image Model, weil die primäre Ausgabe Bild ist
Vision-Language Model (VLM)	Teilmenge: multimodale Modelle mit Bild und Text (CLIP, LLaVA, GPT-4V)	Alle VLMs sind Multimodal Models, aber nicht umgekehrt (Text+Audio- oder Text+Video-Modelle sind multimodal, aber keine VLMs)

Multimodal AI beschreibt das Feld, Multimodal Models die Bausteine darin. Eine klassische Dokumenten-Pipeline aus einem OCR-Modell, einem Bildklassifikator und einem LLM verarbeitet drei Modalitäten und fällt damit unter Multimodal AI, ohne dass ein einzelnes multimodales Modell beteiligt wäre. Der begriffliche Unterschied ist wichtig für Architektur-Entscheidungen: die Wahl zwischen einer Multi-Modell-Pipeline und einem multimodalen Einzelmodell bestimmt Latenz, Betriebs-Aufwand und Konsistenz-Verhalten.

Ein Large Language Model arbeitet auf Text-Token. Multimodale Modelle mit Text-Ausgabe wie GPT-4o oder Claude Sonnet 4 enthalten LLM-Komponenten, werden aber als Multimodal Models kategorisiert, weil die Trainings-Modalität mehrere Kanäle abdeckt und die Fähigkeit an Bild-Verstehen und Audio-Verarbeitung im Modell verankert ist. Ein LLM plus ein separates OCR-Modell bleibt eine Kette aus zwei einmodalen Modellen und fällt damit weiter unter Multimodal AI, aber nicht unter Multimodal Models.

Ein Foundation Model ist eine Eigenschaft und keine Modalitäts-Kategorie. Es gibt Language Foundation Models (Llama, Mistral), Image Foundation Models (SAM, DINOv2) und multimodale Foundation Models (Gemini, GPT-4o). Die Achsen Modalität und Foundation-Model-Status stehen orthogonal zueinander. Ebenso ist Multimodal RAG ein Anwendungs-Muster auf Basis von Multimodal Models: Retrieval über einen Bild-Index plus einen Text-Index kombiniert mit einem multimodalen Modell als Antwort-Generator, wobei das Modell die Komponente bleibt und RAG das Betriebs-Pattern beschreibt.

Beispiel: Dokumenten-Analyse in einem Schadens-Prozess

Ein Versicherer automatisiert die Vorverarbeitung eingehender Schadensmeldungen. Ein Vorgang enthält typischerweise drei Bestandteile: einen gescannten Formulartext, ein Foto des Schadens und einen kurzen Text-Kommentar des Sachbearbeiters. Ein Multimodal Model wie Claude Sonnet 4 oder GPT-4o verarbeitet Bild und Text in einem einzigen Prompt und extrahiert strukturierte Felder wie Schadenshöhe, Schadensart und Fahrzeug-Kennzeichen zusammen mit einer Zusammenfassung.

Klassisch waren dafür drei Modelle nötig: ein OCR-Modell für den Formulartext, ein Bildklassifikator für die Schadensart, ein LLM für die Text-Zusammenfassung. Die Ersparnis liegt nicht nur in der Modell-Zahl. Das multimodale Modell erkennt Widersprüche zwischen dem Foto (Frontschaden) und dem Text-Kommentar (Heckschaden) im selben Kontext, was bei getrennten Modellen einen zusätzlichen Konsistenz-Check verlangt. Die Kohärenz über Modalitäten hinweg gehört zum Charakter der Modell-Klasse und ist der Grund, warum sie viele bisherige Pipeline-Architekturen ablöst.

Der Preis für diese Kohärenz ist eine höhere Kompute-Last pro Anfrage und eine engere Kopplung an den Anbieter. Bild- und Audio-Verarbeitung erfordert deutlich mehr Token-Kosten als reine Text-Verarbeitung, weil ein hochauflösendes Bild je nach Modell mehreren tausend Text-Token entspricht. Frontier-Modelle wie GPT-4o oder Gemini 2.5 laufen ausschließlich als API-Dienst; Open-Weight-Alternativen wie Llama 3.2 Vision, Qwen2-VL, Molmo oder Pixtral sind für Selbstbetrieb verfügbar, liegen aber im Reasoning- und Vision-Verständnis unter den proprietären Referenzen.

Auf einer Lakehouse-Plattform werden Multimodal Models als [Model-Serving-Endpoint](/insights/databricks/artificial-intelligence/model-serving/) mit GPU-Instanzen betrieben, als [Foundation-Model-API](/insights/databricks/artificial-intelligence/foundation-model-apis/) konsumiert (Anbindung an OpenAI, Anthropic, Google) oder als eigenes Open-Weight-Deployment (Llama 3.2 Vision, Qwen2-VL). Bilder und Audio-Dateien liegen in Volumes unter Unity Catalog, Prompt- und Response-Historie in Delta-Tabellen. Der EU-AI-Act adressiert multimodale Modelle als General-Purpose-AI-Systeme mit besonderen Transparenz-Pflichten (Art. 50 zur Kennzeichnung KI-generierter Inhalte), was bei generativer Nutzung in den Betriebs-Pflichten mitgeführt werden muss.