Quantization: Definition, Verfahren und Abgrenzung

Quantisierung (englisch Quantization) verkleinert die Zahlen, mit denen ein KI-Modell rechnet. Ein Modell besteht aus Millionen bis Milliarden von Gewichten (den gelernten Parametern), die üblicherweise als sehr genaue Fließkommazahlen mit 32 oder 16 Bit (FP32, FP16) gespeichert werden. Quantisierung ersetzt diese durch grobere Ganzzahlen mit nur 8 oder 4 Bit (INT8, INT4). Das Modell wird dadurch deutlich kleiner, braucht weniger Grafikkarten-Speicher (GPU-RAM) und liefert Antworten schneller, meist gegen einen kleinen Qualitätsverlust.

Was ist Quantization?

Ein trainiertes Modell speichert seine Gewichte (die gelernten Parameter) typischerweise als 32-Bit- oder 16-Bit-Fließkommazahlen. Quantisierung bildet diese Zahlen auf einen kleineren Wertebereich ab: 8-Bit-Ganzzahlen (INT8), 4-Bit-Ganzzahlen (INT4) oder spezialisierte 4-Bit-Fließkommaformate wie NF4 (ein für Gewichte optimiertes 4-Bit-Format). Damit die groben Werte beim Rechnen wieder den ursprünglichen entsprechen, speichert das Verfahren zusätzlich Skalierungsfaktoren (kleine Korrekturzahlen pro Gruppe von Gewichten). Beim Beantworten einer Anfrage rechnet die Grafikkarte die groben Werte mit diesen Faktoren wieder in nutzbare Zahlen zurück.

Der Begriff hat sich als eigene Disziplin etabliert, weil moderne [Large Language Models](/insights/glossar/large-language-models/) in nativer Präzision selbst für Rechenzentrums-Hardware unhandlich werden. Ein 70-Milliarden-Parameter-Modell belegt in FP16 rund 140 GB Speicher, mehr als eine einzelne H100-GPU bietet. Eine INT4-Quantisierung reduziert den Bedarf auf etwa 35 bis 40 GB und macht den Betrieb auf einer einzigen Karte möglich. Zusätzlich sinkt die Speicher-Bandbreite als Engpass, wodurch der Token-Durchsatz auf identischer Hardware häufig überproportional steigt.

Die Fachliteratur unterscheidet zwei Ansätze. Post-Training Quantization (PTQ) quantisiert ein bereits trainiertes Modell nachträglich; kalibriert wird mit einer kleinen Stichprobe, ein erneutes Training entfällt. Verbreitete PTQ-Verfahren sind [GPTQ](https://arxiv.org/abs/2210.17323) (Frantar et al. 2022, layer-weise INT4-Quantisierung mit Hessian-basierter Kalibrierung), [AWQ](https://arxiv.org/abs/2306.00978) (Lin et al. 2023, aktivierungsbewusste Weight-Quantisierung) und SmoothQuant. Quantization-Aware Training (QAT) integriert die simulierte Quantisierung bereits in den Trainingsprozess und liefert bei aggressiven Formaten wie INT2 höhere Qualität, verlangt aber vollen Trainingsaufwand. Für den produktiven LLM-Betrieb ist PTQ die Regel, QAT die Ausnahme.

Im LLM-Umfeld haben sich mehrere Formate etabliert: GGUF ist das Dateiformat der [llama.cpp](https://github.com/ggerganov/llama.cpp)-Community für CPU- und Consumer-GPU-Inferenz und unterstützt Quantisierungs-Level von Q2\_K bis Q8\_0. GPTQ und AWQ werden von vLLM, TensorRT-LLM und SGLang als Ladeformate akzeptiert. NF4 ist ein 4-Bit-Fließkommaformat mit normalverteilter Skala und Kern von [QLoRA](https://arxiv.org/abs/2305.14314) (Dettmers et al. 2023). FP8 ist ein neueres 8-Bit-Fließkommaformat, das H100- und H200-GPUs nativ rechnen und das Präzision mit Geschwindigkeit kombiniert.

Abgrenzung zu Pruning, Distillation und Mixed Precision Training

Quantisierung wird häufig mit anderen Verfahren der Modellkompression und Modelloptimierung verwechselt. Die relevanten Trennlinien:

Verfahren	Ergebnis	Was verändert wird
Quantization	Gleiches Modell mit reduzierter numerischer Präzision	Bit-Breite der Gewichte (FP16 → INT8/INT4)
Pruning	Gleiches Modell, dünn besetzt	Einzelne Gewichte oder Neuronen werden auf Null gesetzt
Distillation	Neues, architektonisch kleineres Modell	Parameterzahl und Modellgröße
Model Compression	Oberbegriff für alle drei Verfahren	Kombination aus Quantisierung, Pruning, Distillation
Mixed Precision Training	Gleiches Modell, unveränderte Inferenz-Präzision	Rechenpräzision im Trainings-Vor-/Rückwärtslauf

Pruning entfernt Gewichte strukturell aus dem Rechenpfad, Quantisierung ändert nur die Darstellung der bestehenden Gewichte. Ein INT4-quantisiertes 70B-Modell hat weiter 70 Milliarden Parameter, nur mit weniger Bits pro Parameter. Beide Verfahren lassen sich kombinieren.

[Model Distillation](/insights/glossar/model-distillation/) trainiert ein kleineres Schüler-Modell, das die Ausgaben eines größeren Lehrer-Modells nachbildet. Das Ergebnis ist ein anderes, architektonisch reduziertes Modell. Quantisierung behält das Modell und ändert nur die numerische Repräsentation. Ein 7B-Modell aus einem 70B-Teacher hat zehnfach weniger Parameter; ein INT4-quantisiertes 70B-Modell hat vier statt sechzehn Bit pro Parameter. Beide Verfahren adressieren dasselbe Ziel (kleinerer Speicher-Footprint, schnellere Inferenz) auf unterschiedlichen Achsen und sind komplementär.

Model Compression ist der Oberbegriff für alle Verfahren, die ein Modell schlanker machen: Quantisierung, Pruning, Distillation, Weight Sharing und Low-Rank-Faktorisierung. Quantisierung ist eine Teilmenge davon.

Mixed Precision Training bezieht sich auf den Trainings-Vorgang, nicht auf die fertige Inferenz. Vorwärts- und Rückwärtslauf werden in FP16 oder BF16 gerechnet, Gewichtsupdates in FP32; das reduziert Trainingsspeicher und -zeit, lässt aber die Präzision, in der das trainierte Modell später gespeichert wird, unberührt. Quantisierung ist ein Inferenz-Verfahren und wird nach dem Training angewendet.

Häufig verwechselt wird Quantisierung mit [QLoRA](/insights/glossar/lora-und-peft/): QLoRA kombiniert eine 4-Bit-Quantisierung des eingefrorenen Basismodells (typisch NF4) mit LoRA-Adaptern in höherer Präzision. QLoRA gilt damit als Fine-Tuning-Ansatz, der Quantisierung als Speicherhebel nutzt.

Beispiel: Llama-3.3-70B mit AWQ-INT4 auf einer H100

Ein typischer Einsatz sieht so aus: Ein Team möchte Llama-3.3-70B als internen Chat- und Extraktions-Dienst betreiben. In FP16 belegt das Modell rund 140 GB, sodass zwei H100-GPUs mit je 80 GB nötig sind, dazu Speicher für den KV-Cache. Mit AWQ-INT4-Quantisierung sinkt der Gewichts-Footprint auf ca. 40 GB, das Modell passt zusammen mit dem KV-Cache auf eine einzelne H100.

Der Ablauf: Das Modell wird einmalig mit einer Kalibrierungs-Stichprobe von wenigen hundert Sequenzen quantisiert und als AWQ-Gewichtsdatei gespeichert. [vLLM](https://github.com/vllm-project/vllm) lädt die quantisierten Gewichte, rechnet Attention und Feed-Forward mit INT4-optimierten Kerneln und exponiert einen OpenAI-kompatiblen Endpoint. Auf einer H100 erreicht die AWQ-Variante bei einem Qualitätsverlust unter einem Prozentpunkt auf Standard-Benchmarks (MMLU, HellaSwag) einen deutlich höheren Token-Durchsatz und niedrigere Kosten pro Million Tokens als das FP16-Original.

Auf Consumer-Hardware ohne Rechenzentrums-GPU wird dasselbe Modell im GGUF-Format (etwa Q4\_K\_M) mit llama.cpp betrieben; dort wandert ein Teil der Berechnung in den CPU-Speicher, der Durchsatz sinkt entsprechend. Für aggressive Kostensenkung im Rechenzentrum kommt FP8 auf H100 in Betracht: geringerer Qualitätsverlust als INT4, aber weniger Speichergewinn.