Zum Inhalt springen

Video Models

Video Models sind KI-Modelle für Video-Ein- oder -Ausgabe: Sora, Veo, Runway, Kling. Definition, Diffusion-Transformer-Architektur und Abgrenzung.

Video Models sind KI-Modelle, die Videos entweder erzeugen oder analysieren. Aus einer Text-Beschreibung, einem einzelnen Bild oder einem bestehenden Video entstehen neue Videoclips; alternativ liest das Modell ein Video und beschreibt, klassifiziert oder markiert dessen Inhalt. Die Kategorie umfasst Video-Generatoren wie OpenAI Sora, Google Veo, Runway Gen-3, Kling AI und Pika sowie Video-Versteher-Modelle (englisch: Video-Understanding-Modelle) wie Gemini Video, VideoLLaMA und VideoMAE.

Was ist ein Video Model?

Ein Video Model ist ein trainiertes KI-Modell, das mit Video-Daten arbeitet, also mit einer Abfolge von Einzelbildern (Frames, die einzelnen Bilder eines Videos) und optional einer Tonspur. Es gibt zwei Richtungen. Entweder erzeugt das Modell ein neues Video: aus einem Text (Text-to-Video, Text-zu-Video), aus einem Standbild (Image-to-Video, Bild-zu-Video) oder aus einem bestehenden Clip (Video-to-Video, etwa Stilwechsel oder Retusche einzelner Bildbereiche). Oder es liest ein Video und liefert eine Auswertung: eine Klassenzuordnung, eine Textbeschreibung, das Verfolgen eines Objekts von Bild zu Bild oder einen numerischen Fingerabdruck des Clips (Embedding, eine Zahlen-Repräsentation für Suche und Vergleich). Trainiert wird das Modell mit sehr großen Video-Sammlungen, meist zusammen mit passenden Text-Beschreibungen.

Zwei große Zweige prägen die Kategorie. Generative Video Models erzeugen neue Video-Sequenzen aus Text-, Bild- oder Video-Prompts. Der aktuelle Stand sind Diffusion-Transformer-Modelle wie OpenAI Sora (Feb 2024), Google Veo 3 (2025), Runway Gen-3 Alpha (Juli 2024), Kling AI (Kuaishou, Juni 2024) und Pika. Ältere Ansätze wie GAN-basierte Videogeneratoren oder rein rekurrente Modelle spielen kaum noch eine Rolle. Diskriminative Video Models verstehen oder analysieren Videos: multimodale LLMs mit Video-Kanal wie Gemini 1.5/2.5 Pro Video oder GPT-4o Video, sowie klassische Video-Klassifikations- und Encoder-Modelle wie VideoMAE, ViViT oder VideoLLaMA 2.

Das Architektur-Herzstück heutiger Generatoren ist der Diffusion-Transformer (Peebles und Xie 2023), abgekürzt DiT. Videos werden dabei in einen Latent-Raum komprimiert (Variational Autoencoder auf Raum-Zeit-Blöcken, sogenannte Spacetime-Patches), und ein Transformer entrauscht diese Latent-Sequenz schrittweise, konditioniert auf ein Text-Embedding aus einem Sprachmodell wie T5-XXL oder CLIP. Der Unterschied zu Image Models liegt in der zusätzlichen Zeit-Dimension: das Modell muss neben visueller Qualität auch Bewegungs-Kohärenz, Objekt-Persistenz über Frames und plausible Physik lernen. Sora arbeitet nach dem Ansatz „Video Generation Models as World Simulators" (OpenAI 2024), der Videos als Trainingssignal für ein implizites Weltmodell auffasst.

Der Preis für Video-Generierung ist hoher Kompute-Aufwand. Training läuft in Größenordnungen von Millionen GPU-Stunden auf H100-Clustern; Inferenz für einen 5- bis 10-Sekunden-Clip belegt eine GPU über Minuten bis Stunden. Frontier-Modelle wie Sora, Veo 3 und Runway Gen-3 laufen ausschließlich als API-Dienst mit strikten Rate-Limits. Open-Weight-Alternativen (Mochi 1 von Genmo, CogVideoX von THUDM, HunyuanVideo, Wan 2.1, Open-Sora) sind mit deutlichem Qualitäts-Abstand für Selbstbetrieb verfügbar und laufen typischerweise auf 4x- bis 8x-GPU-Nodes für sinnvolle Auflösungen. Historische Meilensteine der Kategorie sind Make-A-Video (Meta 2022), Imagen Video (Google 2022), Runway Gen-2 (2023), Sora (Feb 2024), Kling (Juni 2024), Veo 3 (2025) und Sora 2 mit synchronisiertem Audio (2025).

Abgrenzung zu Image Model, Diffusion Model, Multimodal LLM und Audio Model

Die verwandten Begriffe werden häufig synonym verwendet, meinen aber unterschiedliche Ausschnitte:

BegriffFokusVerhältnis zu Video Model
Image ModelStatische Einzelbilder als Ein- oder AusgabeVideo Models sind die Bewegtbild-Erweiterung; viele Video-Architekturen erweitern Latent-Diffusion-Bild-Modelle um eine Zeit-Dimension und übernehmen deren Text-Encoder und VAE
Diffusion ModelSampling-Verfahren (schrittweises Entrauschen), keine Modell-KategorieVideo Models nutzen Diffusion meist als Verfahren (DiT); ein GAN-basiertes oder autoregressives Video-Modell ist ein Video Model, aber kein Diffusion Model
Multimodal LLMModell mit mehreren Modalitäten (Text, Bild, Audio, Video) in einem gemeinsamen Latent-SpaceReine Video Models bedienen nur Video-Ein- oder -Ausgabe; Multimodal LLMs wie Gemini 2.5 oder GPT-4o verstehen Video als eine von mehreren Modalitäten und werden primär als Multimodal Models geführt
Audio ModelSprach- und Musik-Modelle (Speech, Music)Nachbar-Modalität; Video Models mit synchronisierter Audio-Spur (Sora 2, Veo 3) integrieren beide Kanäle, bleiben aber primär Video Models
Computer VisionDisziplin für maschinelle Bildinterpretation, historisch auf Einzelbilder fokussiertVideo-Understanding-Modelle fallen unter Computer Vision im weiteren Sinn; generative Video Models liegen außerhalb der klassischen CV-Aufgabenliste

Image Model und Video Model teilen den technischen Kern. Latent-Diffusion mit Transformer-Backbone und Text-Encoder ist das gemeinsame Fundament. Video Models fügen eine Zeit-Achse hinzu: Spacetime-Patches, temporal Attention und zusätzliche Kohärenz-Verluste im Training. Ein reines Bild-Modell wie Stable Diffusion 3 erzeugt einen Frame, ein Video-Modell wie Sora eine zeitlich konsistente Frame-Sequenz. Die Grenze verschwimmt bei Image-to-Video-Modellen und bei sehr kurzen Clips (1–2 Sekunden).

Diffusion Model beschreibt ausschließlich das Verfahren: eine Sequenz von Denoising-Schritten, die aus Gauß-Rauschen ein sinnvolles Sample erzeugt. Die Modell-Kategorie ist orthogonal zur Modalität; es gibt Bild-, Video-, Audio- und sogar Text-Diffusion-Modelle. Ein Video Model ist heute fast immer ein Diffusion Model, aber der Begriff „Diffusion Model" allein sagt nichts über die Modalität aus.

Multimodal LLMs und Video Models überlappen im Verständnis-Bereich. Gemini 2.5 Pro kann Videos analysieren, Frames beschreiben und aus Video-Kontext antworten; die Sitemap zählt Gemini primär als Multimodal Model, weil die Video-Fähigkeit eine Modalität unter mehreren ist. Ein Video-Understanding-LLM wie VideoLLaMA fällt begrifflich in beide Kategorien. Reine Video-Generatoren wie Sora oder Kling bleiben eindeutig Video Models, weil die primäre Aus- und Eingabe Video ist.

Beispiel: Marketing-Video-Automatisierung im E-Commerce

Ein Handelsunternehmen automatisiert die Erzeugung von Produkt-Videos für Social-Media-Kampagnen und setzt dabei zwei Video Models in einem Prozess ein. Aus einem statischen Produktfoto und einem Text-Prompt erzeugt ein Image-to-Video-Modell wie Runway Gen-3 oder Kling einen 5- bis 10-Sekunden-Clip mit Kamera-Bewegung und leichter Objekt-Animation. Ein Video-Understanding-Modell wie Gemini 2.5 Pro klassifiziert den erzeugten Clip anschließend gegen die Marken-Guideline (zulässige Farbwelt, Objekt-Position, kein Vergleichs-Slogan) und erzeugt Alt-Text sowie Kapitel-Marker für die Auslieferung.

Zwei Modell-Typen arbeiten in derselben Pipeline mit unterschiedlichen Anforderungen. Der Generator liefert visuelle Qualität und Bewegungs-Plausibilität, gemessen an FVD (Frechet Video Distance) und CLIP-Alignment; das Understanding-Modell liefert Klassifikations-Accuracy und Beschreibungs-Qualität. Kompute-Kosten und Latenz dominieren die Generierungs-Seite: ein 10-Sekunden-Clip in 1080p kostet je nach Anbieter zwischen 0,50 und 5 US-Dollar und dauert 1 bis 10 Minuten. Der EU-AI-Act verlangt in Artikel 50 für KI-generierte Videos eine maschinenlesbare Kennzeichnung, ergänzt durch C2PA-Metadaten-Standards für Herkunftsnachweise.

Auf einer Lakehouse-Plattform werden Video Models als Model-Serving-Endpoint mit GPU-Instanzen bereitgestellt (Open-Weight-Deployment mit Mochi 1, CogVideoX oder HunyuanVideo) oder als Foundation-Model-API konsumiert (Anbindung an OpenAI Sora, Google Veo, Runway). Eingabe-Bilder, Prompt-Text und die erzeugten Video-Dateien liegen in Volumes unter Unity Catalog, Metadaten und Prompt-Historie in Delta-Tabellen. Die Steuerung erfolgt aus demselben Job-Kontext wie die restlichen ML-Workloads.

Video Models im eigenen Unternehmen umsetzen?

Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.

Gespräch vereinbaren