Model Distillation: Definition, Verfahren, Abgrenzung

Model Distillation ist ein Verfahren, um ein großes KI-Modell in ein deutlich kleineres zu übersetzen. Das große Modell (Teacher, also Lehrer) bringt einem kleinen Modell (Student, also Schüler) bei, ähnliche Antworten zu geben. Der Student übernimmt dabei die richtige Antwort und zusätzlich die Information, wie sicher sich der Teacher zwischen ähnlichen Optionen ist (Soft-Labels, also weiche Wahrscheinlichkeits-Werte). Das kleinere Modell erreicht so einen Großteil der Qualität des großen Modells und braucht dabei deutlich weniger Rechenleistung im Betrieb.

Was ist Model Distillation?

Model Distillation, auch Knowledge Distillation (Wissens-Destillation) genannt, überträgt das Können eines großen, bereits fertig trainierten KI-Modells auf ein kleineres. Ausgangspunkt ist ein sehr rechenintensives Modell mit hoher Qualität, etwa ein Foundation-Modell (Basis-Modell, das auf riesigen Datenmengen vortrainiert wurde) mit 70 bis 400 Milliarden Parametern (den intern gelernten Zahlenwerten, die das Verhalten des Modells bestimmen). Ziel ist ein kleineres Modell, das im laufenden Betrieb bezahlbar ist und in einer klar abgegrenzten Aufgabe fast so gut arbeitet wie das große Original.

Die Kernidee stammt aus der Arbeit von Geoffrey Hinton, Oriol Vinyals und Jeff Dean aus dem Jahr 2015. Sie zeigten in [Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531), dass ein Teacher-Modell nicht nur harte Klassenentscheidungen liefert, sondern eine vollständige Wahrscheinlichkeitsverteilung über alle möglichen Ausgaben. Diese Verteilung enthält relative Ähnlichkeiten zwischen den Optionen, die sogenannten Soft-Labels oder Dark Knowledge. Wo ein One-Hot-Label nur „Klasse 3" sagt, sagt die Teacher-Verteilung „zu 82 Prozent Klasse 3, zu 12 Prozent Klasse 5, zu 4 Prozent Klasse 7". Diese Zusatzinformation gibt dem Student pro Beispiel mehr Trainingssignal.

Das Trainingsobjektiv des Students besteht aus zwei Termen. Der erste ist die klassische Kreuzentropie zur harten Ground Truth. Der zweite ist die Kullback-Leibler-Divergenz zwischen der Ausgabeverteilung des Students und der Soft-Label-Verteilung des Teachers. Ein Temperatur-Parameter (typisch T zwischen 2 und 10) glättet die Teacher-Verteilung, damit die Nebenklassen-Information sichtbar wird und nicht in einem nahezu One-Hot-Signal untergeht.

In der Praxis unterscheidet die Fachliteratur drei Varianten. Response-Distillation lässt den Student nur die finalen Ausgaben des Teachers imitieren, häufig über einen Datensatz aus Teacher-generierten Antworten. Feature-Distillation richtet zusätzlich Zwischenrepräsentationen des Students an denen des Teachers aus. Self-Distillation nutzt eine frühere Checkpoint-Version desselben Modells als Teacher für die aktuelle Version. Klassische Referenzmodelle sind [DistilBERT](https://arxiv.org/abs/1910.01108) (Sanh et al. 2019, 40 Prozent kleiner als BERT-Base bei rund 97 Prozent der GLUE-Qualität), TinyBERT und MobileBERT. Bei Sprachmodellen zählen Alpaca und Vicuna (destilliert aus GPT-3.5-Ausgaben) sowie Zephyr (destilliert aus Mistral mit GPT-4-Feedback) zu den bekanntesten Beispielen.

Abgrenzung zu Quantization, Fine-Tuning und LoRA/PEFT

Model Distillation wird häufig mit anderen Verfahren der Modellkompression und Modellanpassung verwechselt. Die relevanten Trennlinien:

Verfahren	Ergebnis	Was verändert wird
Model Distillation	Neues, kleineres Modell mit eigener Architektur	Parameterzahl und Architekturgröße
Quantization	Gleiches Modell mit reduzierter numerischer Präzision	Bit-Breite der Gewichte (FP16 → INT8/INT4)
Fine-Tuning	Gleiches Modell mit angepasstem Aufgabenverhalten	Modellgewichte auf gelabelten Daten
LoRA / PEFT	Gleiches Basismodell + kleiner Adapter	Wenige zusätzliche Low-Rank-Parameter
Pruning	Gleiches Modell, dünn besetzt	Einzelne Gewichte oder Attention-Heads werden entfernt

Quantization ist die häufigste Verwechslung. Beide Verfahren senken Speicher- und Rechenbedarf, aber Quantization ändert nur die numerische Präzision der Gewichte, während Distillation ein architektonisch kleineres Modell erzeugt. Ein 70B-Modell in INT4 hat weiter 70 Milliarden Parameter, nur mit weniger Bits pro Gewicht. Ein aus dem 70B-Teacher destilliertes 7B-Student-Modell hat tatsächlich zehnfach weniger Parameter. Die Verfahren sind komplementär: Ein destilliertes Modell kann anschließend quantisiert werden.

[Fine-Tuning](/insights/glossar/fine-tuning/) verändert ein bestehendes Modell, um sein Aufgabenverhalten anzupassen. Die Modellgröße bleibt dabei gleich. Distillation trainiert ein separates, kleineres Modell neu. Die beiden Verfahren lassen sich verbinden: Ein bereits fine-getuntes Modell dient als Teacher, seine Ausgaben werden zu Trainingsdaten für einen kompakteren Student, der das spezialisierte Verhalten übernimmt.

[LoRA und PEFT](/insights/glossar/lora-und-peft/) fügen einem bestehenden Modell wenige Millionen zusätzliche Parameter über Low-Rank-Adapter hinzu, ohne die Basis zu verändern. Das Basismodell bleibt in voller Größe im Speicher; der Rechen- und Speicherbedarf sinkt nicht wesentlich für die Inferenz. Distillation adressiert genau diesen Punkt: Der Student ist eigenständig kleiner und günstiger zu betreiben.

Pruning entfernt einzelne Gewichte oder ganze Attention-Heads nach einem Sparsity-Kriterium aus einem bestehenden Modell. Distillation trainiert ein neues Modell. Pruning und Distillation werden häufig kombiniert (Rekompression), Distillation und [Mixture of Experts](/insights/glossar/mixture-of-experts/) sind orthogonal: MoE reduziert die aktivierten Parameter pro Token durch Routing, ohne die absolute Modellgröße zu senken.

Beispiel: LLM-Distillation für eine schmale Anwendungsdomäne

Ein typisches Distillation-Setup für Sprachmodelle beginnt mit einem großen Teacher wie [DBRX Instruct](/insights/glossar/dbrx/) 132B, Llama 3 70B oder einem proprietären API-Modell. Der Teacher generiert für die Zielaufgabe zwischen 50.000 und 200.000 Antworten, häufig auf realen Kundenanfragen ohne Zielantwort. Diese Ausgaben bilden den Trainingsdatensatz für den Student, meist ein Basismodell mit 7 bis 13 Milliarden Parametern.

Der Student wird anschließend als Response-Distillation auf diesen Ausgaben trainiert; bei Zugriff auf die vollen Ausgabelogits des Teachers kann zusätzlich eine KL-basierte Feature-Distillation ergänzt werden, was bei geschlossenen API-Modellen entfällt. Nach dem Training übernimmt der Student die Produktion. Für ein eng abgegrenztes Aufgabenprofil (Support-Klassifikation, Extraktion aus Verträgen, strukturierte Zusammenfassungen) erreicht der 7B-Student in vielen Fällen 90 bis 98 Prozent der Teacher-Qualität, bei ungefähr einem Zehntel der Inferenzkosten und deutlich geringerer Latenz.

Auf einer integrierten Data-Plattform wie [Databricks Mosaic AI](/insights/databricks/artificial-intelligence/) laufen Teacher-Inferenz, Datensammlung, Student-Training und Serving auf denselben Daten: Der Trainingsdatensatz liegt im Lakehouse, das Distillation-Training wird in verwalteten GPU-Umgebungen orchestriert, der destillierte Student wird über die Model Registry versioniert und via Model Serving bereitgestellt. Eine offene Grenze bleibt: Halluzinationen und Verzerrungen des Teachers werden mittrainiert, und in offenen Reasoning-Aufgaben oder langen Kontexten bleiben Qualitäts-Lücken deutlich größer als in engen Extraktions- oder Klassifikationsaufgaben.