Video Models: Definition, Modell-Familien und Abgrenzung

Video Models sind bestimmte KI-Modelle, die Videos entweder erzeugen oder analysieren. Aus einer Text-Beschreibung, einem einzelnen Bild oder einem bestehenden Video entstehen neue Videoclips; alternativ liest das Modell ein Video und beschreibt, klassifiziert oder markiert dessen Inhalt. Die Kategorie umfasst Video-Generatoren wie OpenAI Sora, Google Veo, Runway Gen-3, Kling AI und Pika sowie Video-Versteher-Modelle (englisch: Video-Understanding-Modelle) wie Gemini Video, VideoLLaMA und VideoMAE.

Was ist ein Video Model?

Ein Video Model ist ein trainiertes KI-Modell, das mit Video-Daten arbeitet, also mit einer Abfolge von Einzelbildern (Frames, die einzelnen Bilder eines Videos) und optional einer Tonspur. Es gibt zwei Richtungen. Entweder erzeugt das Modell ein neues Video: aus einem Text (Text-to-Video, Text-zu-Video), aus einem Standbild (Image-to-Video, Bild-zu-Video) oder aus einem bestehenden Clip (Video-to-Video, etwa Stilwechsel oder Retusche einzelner Bildbereiche). Oder es liest ein Video und liefert eine Auswertung: eine Klassenzuordnung, eine Textbeschreibung, das Verfolgen eines Objekts von Bild zu Bild oder einen numerischen Fingerabdruck des Clips (Embedding, eine Zahlen-Repräsentation für Suche und Vergleich). Trainiert wird das Modell mit sehr großen Video-Sammlungen, meist zusammen mit passenden Text-Beschreibungen.

Zwei große Zweige prägen die Kategorie. Generative Video Models erzeugen neue Video-Sequenzen aus Text-, Bild- oder Video-Prompts. Der aktuelle Stand sind Diffusion-Transformer-Modelle wie OpenAI Sora (Feb 2024), Google Veo 3 (2025), Runway Gen-3 Alpha (Juli 2024), Kling AI (Kuaishou, Juni 2024) und Pika. Ältere Ansätze wie GAN-basierte Videogeneratoren oder rein rekurrente Modelle spielen kaum noch eine Rolle. Diskriminative Video Models verstehen oder analysieren Videos: multimodale LLMs mit Video-Kanal wie Gemini 1.5/2.5 Pro Video oder GPT-4o Video, sowie klassische Video-Klassifikations- und Encoder-Modelle wie VideoMAE, ViViT oder VideoLLaMA 2.

Das Architektur-Herzstück heutiger Generatoren ist der Diffusion-Transformer ([Peebles und Xie 2023](https://arxiv.org/abs/2212.09748)), abgekürzt DiT. Videos werden dabei in einen Latent-Raum komprimiert (Variational Autoencoder auf Raum-Zeit-Blöcken, sogenannte Spacetime-Patches), und ein Transformer entrauscht diese Latent-Sequenz schrittweise, konditioniert auf ein Text-Embedding aus einem Sprachmodell wie T5-XXL oder CLIP. Der Unterschied zu Image Models liegt in der zusätzlichen Zeit-Dimension: das Modell muss neben visueller Qualität auch Bewegungs-Kohärenz, Objekt-Persistenz über Frames und plausible Physik lernen. Sora arbeitet nach dem Ansatz [„Video Generation Models as World Simulators"](https://openai.com/index/video-generation-models-as-world-simulators/) (OpenAI 2024), der Videos als Trainingssignal für ein implizites Weltmodell auffasst.

Der Preis für Video-Generierung ist hoher Kompute-Aufwand. Training läuft in Größenordnungen von Millionen GPU-Stunden auf H100-Clustern; Inferenz für einen 5- bis 10-Sekunden-Clip belegt eine GPU über Minuten bis Stunden. Frontier-Modelle wie Sora, Veo 3 und Runway Gen-3 laufen ausschließlich als API-Dienst mit strikten Rate-Limits. Open-Weight-Alternativen (Mochi 1 von Genmo, CogVideoX von THUDM, HunyuanVideo, Wan 2.1, Open-Sora) sind mit deutlichem Qualitäts-Abstand für Selbstbetrieb verfügbar und laufen typischerweise auf 4x- bis 8x-GPU-Nodes für sinnvolle Auflösungen. Historische Meilensteine der Kategorie sind [Make-A-Video](https://arxiv.org/abs/2209.14792) (Meta 2022), Imagen Video (Google 2022), Runway Gen-2 (2023), Sora (Feb 2024), Kling (Juni 2024), Veo 3 (2025) und Sora 2 mit synchronisiertem Audio (2025).

Abgrenzung zu Image Model, Diffusion Model, Multimodal LLM und Audio Model

Die verwandten Begriffe werden häufig synonym verwendet, meinen aber unterschiedliche Ausschnitte:

Begriff	Fokus	Verhältnis zu Video Model
Image Model	Statische Einzelbilder als Ein- oder Ausgabe	Video Models sind die Bewegtbild-Erweiterung; viele Video-Architekturen erweitern Latent-Diffusion-Bild-Modelle um eine Zeit-Dimension und übernehmen deren Text-Encoder und VAE
Diffusion Model	Sampling-Verfahren (schrittweises Entrauschen), keine Modell-Kategorie	Video Models nutzen Diffusion meist als Verfahren (DiT); ein GAN-basiertes oder autoregressives Video-Modell ist ein Video Model, aber kein Diffusion Model
Multimodal LLM	Modell mit mehreren Modalitäten (Text, Bild, Audio, Video) in einem gemeinsamen Latent-Space	Reine Video Models bedienen nur Video-Ein- oder -Ausgabe; Multimodal LLMs wie Gemini 2.5 oder GPT-4o verstehen Video als eine von mehreren Modalitäten und werden primär als Multimodal Models geführt
Audio Model	Sprach- und Musik-Modelle (Speech, Music)	Nachbar-Modalität; Video Models mit synchronisierter Audio-Spur (Sora 2, Veo 3) integrieren beide Kanäle, bleiben aber primär Video Models
Computer Vision	Disziplin für maschinelle Bildinterpretation, historisch auf Einzelbilder fokussiert	Video-Understanding-Modelle fallen unter Computer Vision im weiteren Sinn; generative Video Models liegen außerhalb der klassischen CV-Aufgabenliste

Image Model und Video Model teilen den technischen Kern. Latent-Diffusion mit Transformer-Backbone und Text-Encoder ist das gemeinsame Fundament. Video Models fügen eine Zeit-Achse hinzu: Spacetime-Patches, temporal Attention und zusätzliche Kohärenz-Verluste im Training. Ein reines Bild-Modell wie Stable Diffusion 3 erzeugt einen Frame, ein Video-Modell wie Sora eine zeitlich konsistente Frame-Sequenz. Die Grenze verschwimmt bei Image-to-Video-Modellen und bei sehr kurzen Clips (1–2 Sekunden).

Diffusion Model beschreibt ausschließlich das Verfahren: eine Sequenz von Denoising-Schritten, die aus Gauß-Rauschen ein sinnvolles Sample erzeugt. Die Modell-Kategorie ist orthogonal zur Modalität; es gibt Bild-, Video-, Audio- und sogar Text-Diffusion-Modelle. Ein Video Model ist heute fast immer ein Diffusion Model, aber der Begriff „Diffusion Model" allein sagt nichts über die Modalität aus.

Multimodal LLMs und Video Models überlappen im Verständnis-Bereich. Gemini 2.5 Pro kann Videos analysieren, Frames beschreiben und aus Video-Kontext antworten; die Sitemap zählt Gemini primär als Multimodal Model, weil die Video-Fähigkeit eine Modalität unter mehreren ist. Ein Video-Understanding-LLM wie VideoLLaMA fällt begrifflich in beide Kategorien. Reine Video-Generatoren wie Sora oder Kling bleiben eindeutig Video Models, weil die primäre Aus- und Eingabe Video ist.

Beispiel: Marketing-Video-Automatisierung im E-Commerce

Ein Handelsunternehmen automatisiert die Erzeugung von Produkt-Videos für Social-Media-Kampagnen und setzt dabei zwei Video Models in einem Prozess ein. Aus einem statischen Produktfoto und einem Text-Prompt erzeugt ein Image-to-Video-Modell wie Runway Gen-3 oder Kling einen 5- bis 10-Sekunden-Clip mit Kamera-Bewegung und leichter Objekt-Animation. Ein Video-Understanding-Modell wie Gemini 2.5 Pro klassifiziert den erzeugten Clip anschließend gegen die Marken-Guideline (zulässige Farbwelt, Objekt-Position, kein Vergleichs-Slogan) und erzeugt Alt-Text sowie Kapitel-Marker für die Auslieferung.

Zwei Modell-Typen arbeiten in derselben Pipeline mit unterschiedlichen Anforderungen. Der Generator liefert visuelle Qualität und Bewegungs-Plausibilität, gemessen an FVD (Frechet Video Distance) und CLIP-Alignment; das Understanding-Modell liefert Klassifikations-Accuracy und Beschreibungs-Qualität. Kompute-Kosten und Latenz dominieren die Generierungs-Seite: ein 10-Sekunden-Clip in 1080p kostet je nach Anbieter zwischen 0,50 und 5 US-Dollar und dauert 1 bis 10 Minuten. Der EU-AI-Act verlangt in Artikel 50 für KI-generierte Videos eine maschinenlesbare Kennzeichnung, ergänzt durch C2PA-Metadaten-Standards für Herkunftsnachweise.

Auf einer Lakehouse-Plattform werden Video Models als [Model-Serving-Endpoint](/insights/databricks/artificial-intelligence/model-serving/) mit GPU-Instanzen bereitgestellt (Open-Weight-Deployment mit Mochi 1, CogVideoX oder HunyuanVideo) oder als [Foundation-Model-API](/insights/databricks/artificial-intelligence/foundation-model-apis/) konsumiert (Anbindung an OpenAI Sora, Google Veo, Runway). Eingabe-Bilder, Prompt-Text und die erzeugten Video-Dateien liegen in Volumes unter Unity Catalog, Metadaten und Prompt-Historie in Delta-Tabellen. Die Steuerung erfolgt aus demselben Job-Kontext wie die restlichen ML-Workloads.