Foundation Models: Definition, Herkunft, Abgrenzung

Ein Foundation Model ist ein KI-Modell, das einmal auf sehr großen, breiten Datenmengen vortrainiert wird (das Modell lernt aus riesigen Textmengen ohne menschlich gesetzte Antworten) und danach für viele verschiedene Aufgaben nachjustiert werden kann, von Textzusammenfassung bis Code-Erzeugung. Der Begriff wurde 2021 am Stanford Center for Research on Foundation Models (Bommasani et al.) eingeführt und beschreibt die Modell-Klasse, die von Ein-Aufgaben-KI zu Vielzweck-KI übergeht.

Was ist ein Foundation Model?

Ein Foundation Model ist ein Modell, das einmal aufwendig auf einer sehr breiten Datenbasis vortrainiert wird und danach für viele nachgelagerte Aufgaben (also die eigentlichen Anwendungen wie Chatbot, Übersetzung oder Klassifikation) mit vergleichsweise wenig Aufwand angepasst wird. Das einmalige Vortraining (Pretraining) verbraucht Größenordnungen von Millionen GPU-Stunden (Rechenzeit auf Grafikprozessoren) auf Trillionen Tokens (Text-Bausteinen, meist Wortteilen) oder auf Milliarden Bild-Text-Paaren. Die spätere Anpassung an eine konkrete Aufgabe kostet danach um mehrere Größenordnungen weniger, weshalb sich die einmalige Investition lohnt.

Das Trainings-Paradigma ist Self-Supervised Learning: das Modell lernt, Teile seiner Eingabe aus dem Rest vorherzusagen. Bei Text ist das die Vorhersage des nächsten Tokens (Next-Token-Prediction) auf Web-, Code- und Buchkorpora, bei Bild-Text-Paaren die kontrastive Ausrichtung von Bild- und Text-Repräsentationen ([CLIP](https://arxiv.org/abs/2103.00020), Radford et al. 2021), bei rein visuellen oder Audio-Modellen maskierte Rekonstruktion. Die Modell-Architektur ist überwiegend Transformer-basiert ([Vaswani et al. 2017](https://arxiv.org/abs/1706.03762)), oft mit Mixture-of-Experts-Erweiterungen wie in Mixtral, DBRX oder DeepSeek-V3, mit Parameter-Größenordnungen von einer bis rund tausend Milliarden.

Der Begriff wurde 2021 in dem Stanford-CRFM-Bericht [„On the Opportunities and Risks of Foundation Models"](https://arxiv.org/abs/2108.07258) (Bommasani et al.) geprägt. Zwei Eigenschaften machen ein Modell darin zu einem Foundation Model: Emergenz, also Fähigkeiten wie In-Context Learning, die im Training nicht explizit gelernt wurden und mit Modellgröße auftauchen; und Homogenisierung, also dasselbe Basismodell als Ausgangspunkt für viele Anwendungen. Historische Marker der Klasse sind GPT-3 als erster Beleg für großmaßstäbliches Few-Shot-Learning ([Brown et al. 2020](https://arxiv.org/abs/2005.14165)), InstructGPT als Blaupause für Instruction- und Preference-Tuning und die Verbreiterung auf multimodale und offene Gewichts-Modelle wie GPT-4, Claude, Gemini, Llama, Mistral und DBRX.

Foundation Models umfassen mehrere Modell-Familien mit unterschiedlicher Modalität und Zielstellung: Large Language Models für Text, Small Language Models als schlankere Sprach-Varianten, Multimodal Models für Text, Bild und Audio in einem Modell, Reasoning Models mit Test-Time-Compute wie die o-Serie oder Gemini Thinking, [Embedding Models](/insights/glossar/embedding-models/) für Vektor-Repräsentationen, Reranker sowie Bild-, Video- und Audio-Generatoren. Der Anpassungs-Weg reicht von Zero- und Few-Shot-Prompting über In-Context Learning bis zu [Fine-Tuning](/insights/glossar/fine-tuning/), Preference-Tuning und [Continued Pretraining](/insights/glossar/continued-pretraining/).

Abgrenzung zu AI Model, LLM und Fine-tuned Model

Foundation Models werden häufig mit benachbarten Kategorien vermischt. Die relevanten Trennlinien:

Begriff	Verhältnis zu Foundation Model	Kern-Unterschied
AI Model	Oberkategorie	Foundation Model ist AI Model mit breitem Vortraining und Aufgaben-Offenheit
Large Language Model	Teilmenge	Sprach-spezifisches Foundation Model
Fine-tuned Model	Ableitung	Aus Foundation Model durch Aufgaben-Training entstanden
Pretrained Model (klassisch)	Vorläufer-Konzept	Vortrainiert, aber nicht in Foundation-Skalen und nicht aufgaben-offen

Ein [AI Model](/insights/glossar/ai-models/) ist die Oberkategorie für alle trainierten Modelle. Klassische supervised-Modelle wie Regression, Random Forest oder XGBoost sind AI Models, weil sie Parameter aus Daten lernen, aber keine Foundation Models, weil sie pro Aufgabe auf strukturierten Daten trainiert werden und nicht aufgaben-offen sind. Ein Foundation Model ist ein AI Model mit zwei zusätzlichen Eigenschaften: großmaßstäbliches selbstüberwachtes Vortraining und die Fähigkeit, für viele Aufgaben angepasst zu werden.

Ein Large Language Model ist ein Foundation Model mit Modalität Text. Alle LLMs sind Foundation Models, umgekehrt gilt das nicht: Embedding-Modelle, Reranker, Bild-Generatoren wie Stable Diffusion oder multimodale Modelle ohne dominante Sprach-Ausrichtung sind Foundation Models ohne LLM-Etikett. Die häufige Gleichsetzung LLM = Foundation Model verkürzt die Klasse auf eine Modalität.

Ein fine-getuntes Modell ist ein Foundation Model nach einer nachgelagerten Trainings-Phase auf gelabelten Aufgaben-Daten. Llama 3 Instruct entsteht aus Llama 3 Base durch Instruction-Tuning und RLHF; GPT-4o ist eine adaptierte Ableitung des GPT-4-Basismodells. Das Foundation Model ist die Ausgangs-Investition, das fine-getunte Modell die aufgaben-angepasste Instanz. In der Terminologie moderner Modell-Kataloge wird deshalb zwischen Base Model (Foundation Model direkt nach dem Pretraining, ohne Instruction-Tuning) und Instruct Model (fine-getunte Variante mit Prompt-Response-Ausrichtung) unterschieden.

Generative AI ist keine Modell-Klasse, sondern eine Fähigkeits-Kategorie. Foundation Models bilden die Modell-Basis für generative Anwendungen, aber Embedding- und Reranker-Modelle sind Foundation Models ohne generative Funktion. Das ältere Konzept „Pretrained Model" aus der Computer-Vision-Ära (ImageNet-vortrainiertes ResNet) ist ein Vorläufer, aber weder in Foundation-Skalen noch aufgaben-offen im heutigen Sinn.

Beispiel: Llama 3 als Foundation Model mit zwei Ableitungs-Zweigen

Meta veröffentlicht Llama 3 70B in zwei Varianten. Llama 3 70B Base ist das reine Foundation Model: vortrainiert auf rund 15 Billionen Tokens im Next-Token-Prediction-Verfahren, ohne Instruction-Tuning, ohne Präferenz-Ausrichtung. Llama 3 70B Instruct ist die von Meta selbst adaptierte Variante mit Supervised Fine-Tuning auf Instruktions-Datensätzen und anschließender Präferenz-Ausrichtung. Beide Varianten teilen dieselbe Foundation-Model-Basis, unterscheiden sich aber im Aufgabenverhalten.

Aus derselben Foundation-Model-Basis lässt sich ein zweiter Ableitungs-Zweig aufbauen. Ein Betrieb im Lakehouse-Kontext nimmt das Base-Modell, führt zunächst Continued Pretraining auf branchenspezifischem Rohtext durch (juristische Dokumente, technische Handbücher, interne Wissensbasen) und anschließend Supervised Fine-Tuning auf einigen tausend domänenspezifischen Frage-Antwort-Paaren. Ergebnis: ein aufgaben-angepasstes Modell auf derselben Foundation-Model-Basis wie Llama 3 Instruct, aber mit anderer Fachterminologie und anderem Antwortverhalten.

Betrieblich werden Foundation Models auf drei Wegen konsumiert. Proprietäre Modelle werden über APIs wie OpenAI, Anthropic oder Google Vertex AI bereitgestellt, Open-Weight-Modelle wie Llama, Mistral, DBRX oder Qwen können selbst betrieben oder über Hoster wie Together AI und Fireworks bezogen werden, und im Lakehouse-Kontext liefern [Foundation Model APIs](/insights/databricks/artificial-intelligence/foundation-model-apis/) und [Mosaic AI Training](/insights/databricks/artificial-intelligence/mosaic-ai-training/) den Managed-Endpoint-Weg samt Fine-Tuning-Pipeline auf denselben Daten, auf denen das Lakehouse ohnehin läuft. Die Foundation-Model-Ebene ist die eine Trainings-Investition, die Anpassungs-Ebene sind viele Ableitungen darüber.