Large Language Models

Large Language Models (LLMs, deutsch: große Sprachmodelle) sind KI-Modelle, die natürliche Sprache verstehen und Texte erzeugen. Sie basieren auf der Transformer-Architektur (ein neuronales Netz mit Aufmerksamkeits-Mechanismus) und lernen aus riesigen Mengen an Text und Code, indem sie das jeweils nächste Wort vorhersagen (Fachbegriff: Next-Token-Prediction). Ein trainiertes LLM lässt sich anschließend über Anweisungen im Prompt (Eingabetext), Beispiele im Eingabetext oder eine gezielte Nach-Trainingsphase (Fine-Tuning) auf Aufgaben wie Textgenerierung, Klassifikation, Informationsextraktion oder Frage-Antwort einstellen.

Was ist ein Large Language Model?

Ein Large Language Model ist ein Sprachmodell, das für einen gegebenen Textanfang das jeweils wahrscheinlichste nächste Token (kleine Text-Einheit, in der Regel ein Wortteil) berechnet und so Wort für Wort einen Anschlusstext erzeugt. Das „large" bezieht sich auf zwei Größen: die Zahl der internen Stellschrauben des Modells (Parameter, typisch mehrere Milliarden bis Billionen) und die Menge der Text-Bausteine im Training (Trainings-Tokens, typisch 1 bis 15 Billionen). Anders als ältere, jeweils auf eine einzelne Aufgabe zugeschnittene Sprachmodelle (etwa BERT- oder T5-Feintunes für Klassifikation oder Named-Entity-Erkennung) wird ein LLM einmal breit vortrainiert und danach für viele unterschiedliche Aufgaben eingesetzt.

Architektonisch beruhen produktive LLMs auf dem Transformer ([Vaswani et al. 2017](https://arxiv.org/abs/1706.03762)), meist in der Decoder-only-Variante. Der Attention-Mechanismus erlaubt es dem Modell, für jedes Token die Relevanz aller anderen Tokens im Kontextfenster zu gewichten, ohne den sequenziellen Flaschenhals rekurrenter Netze. Größere Modell-Familien verwenden zusätzlich Mixture-of-Experts (Mixtral 8x22B, DBRX, DeepSeek-V3), um bei höherer Gesamt-Parameterzahl nur einen Teil der Gewichte pro Token zu aktivieren. Trainings-Verfahren ist Self-Supervised Learning per Next-Token-Prediction: das Modell lernt, aus einem Präfix das nächste Token vorherzusagen, ohne dass menschlich gelabelte Zielwerte nötig sind.

Der Begriff hat sich mit den GPT-Generationen etabliert. GPT-2 (2019) zeigte, dass ein reines Sprachmodell ohne aufgaben-spezifisches Training Zero-Shot-Aufgaben lösen kann. GPT-3 ([Brown et al. 2020](https://arxiv.org/abs/2005.14165)) belegte großmaßstäbliches Few-Shot-Learning: dieselbe Modell-Instanz löst viele Aufgaben allein über Beispiele im Prompt, ohne Gewichts-Update. InstructGPT ([Ouyang et al. 2022](https://arxiv.org/abs/2203.02155)) fügte eine zweite Trainings-Phase hinzu (Supervised Fine-Tuning und Reinforcement Learning from Human Feedback, RLHF) und machte damit den Sprung von rohem Sprach-Modellieren zu instruktions-folgenden Assistenten. Seither prägen GPT-4/GPT-5, Claude, Gemini und offene Familien wie Llama, Mistral, Qwen und DBRX die Modell-Klasse.

Der Anpassungs-Pfad reicht von Zero-Shot- und Few-Shot-Prompting über In-Context Learning bis zu Fine-Tuning, Preference-Tuning (RLHF, DPO) und Continued Pretraining auf domänenspezifischen Korpora. Retrieval-Augmented Generation kombiniert das Modell mit einer externen Wissensbasis, um Antworten auf aktuelle oder proprietäre Fakten zu stützen, ohne das Modell selbst neu zu trainieren.

Abgrenzung zu Foundation Models, SLMs und Multimodal Models

Der Begriff LLM wird häufig mit benachbarten Modell-Kategorien vermischt. Die relevanten Trennlinien:

Ein [Foundation Model](/insights/glossar/foundation-models/) ist die Ober-Kategorie: großmaßstäblich vortrainierte Modelle, die auf viele Downstream-Aufgaben angepasst werden können. LLMs sind die sprach-fokussierte Teilmenge dieser Klasse. Nicht jedes Foundation Model ist ein LLM. Embedding-Modelle, Reranker, Bild-Generatoren wie Stable Diffusion oder rein visuelle Modelle sind Foundation Models ohne LLM-Etikett. Die häufige Gleichsetzung LLM = Foundation Model verkürzt die Klasse auf eine einzige Modalität.

Small Language Models (SLMs) grenzen sich vom LLM-Begriff primär durch Zielgröße und Einsatz-Frame ab, die Architektur bleibt weitgehend gleich. Phi-3, Gemma 2B/7B, Mistral-Small oder Llama 3.2 1B/3B sind Sprachmodelle mit denselben Trainings-Verfahren wie ein GPT-4, aber mit unter etwa 10 Milliarden Parametern, ausgelegt auf Edge-Inferenz, On-Device-Betrieb oder aufgaben-spezialisierte Feintunes. Es gibt keine harte Parameter-Grenze zwischen SLM und LLM. Die Trennung ist eine Positionierung: SLMs verkaufen niedrige Latenz und niedrigen Ressourcen-Bedarf, LLMs breite Fähigkeiten und Emergenz.

Multimodal Models verarbeiten mehr als Text (typischerweise Text zusammen mit Bild, Audio oder Video, etwa GPT-4o, Gemini, Claude Sonnet 4.6). Der LLM-Kern bleibt oft erhalten, aber Vision- oder Audio-Encoder liefern zusätzliche Eingabe-Modalitäten in denselben Repräsentations-Raum. Sobald ein Modell Bilder oder Audio als Eingabe akzeptiert, gilt es als multimodales Modell und nicht mehr als reines LLM. Für viele produktive Enterprise-Anwendungen ist diese Trennung praktisch relevant: ein reines LLM verarbeitet nur Text und braucht für PDF- oder Bild-Inhalte einen vorgelagerten OCR- oder Vision-Encoder.

Reasoning Models wie die o-Serie oder Gemini-Thinking sind LLMs, die während des Trainings und der Inferenz explizit auf mehrstufige Denk-Ketten optimiert sind. Sie erzeugen intern längere Zwischenschritte (Chain-of-Thought), bevor sie eine finale Antwort ausgeben, und tauschen Antwort-Latenz gegen Qualität bei komplexen Aufgaben wie Mathematik oder Code-Debugging.

Beispiel: Llama 3.1 70B als Antwort-Generator in einem RAG-System

Ein typischer produktiver Einsatz zeigt die Rolle des LLMs im Modell-Stack. In einem internen Wissensassistenten verarbeitet Llama 3.1 70B Instruct Nutzerfragen und formuliert die finalen Antworten. Vorgelagert läuft eine Retrieval-Augmented-Generation-Pipeline: ein Embedding-Modell (eine eigene Modell-Klasse, kein LLM) wandelt die Frage in einen Vektor, ein Vektor-Index liefert die relevantesten Dokument-Abschnitte aus einer proprietären Wissensbasis, und diese Abschnitte werden zusammen mit der Ursprungsfrage in den Kontext des LLMs eingesetzt. Das LLM erhält also die Frage zusammen mit dem Belegtext.

Betrieblich stehen zwei Wege offen. Erster Weg: Bereitstellung über [Foundation Model APIs](/insights/databricks/artificial-intelligence/foundation-model-apis/) im eigenen Databricks-Workspace als Pay-per-Token-Endpoint (keine Infrastruktur-Kosten, Abrechnung pro Input- und Output-Token). Zweiter Weg: Self-Hosting über Model Serving auf dedizierter GPU-Kapazität, mit fixen Stundenkosten und vorhersagbarem Durchsatz, sinnvoll bei hohem, konstantem Anfrage-Volumen oder wenn ein isolierter Compute gefordert ist. Der Übergang zwischen beiden Wegen erfolgt ohne Änderung an der Anwendung, weil der API-Vertrag identisch bleibt.

Auf derselben Modell-Familie lassen sich zwei zusätzliche Anpassungs-Wege legen. Continued Pretraining führt das Base-Modell auf domänenspezifischem Rohtext weiter (juristische Dokumente, technische Handbücher, interne Wissensbasen) und verankert Fachterminologie im Gewichts-Raum. Supervised Fine-Tuning auf einigen tausend domänen-spezifischen Frage-Antwort-Paaren richtet das Antwortverhalten auf das Zielregister aus. Ein Preference-Tuning-Schritt (RLHF oder DPO) glättet den Ton und reduziert unerwünschte Antwortmuster. Das Ergebnis ist ein aufgaben-angepasstes LLM auf derselben Foundation-Model-Basis wie Llama 3.1 Instruct, aber mit anderer Fachterminologie und anderem Antwortverhalten. Die LLM-Klasse ist der Antwort-Generator; die Retrieval-Ebene, das Embedding-Modell und die Trainings-Pipeline sind eigene Bausteine daneben.