Small Language Models

Small Language Models (SLMs) sind kleine KI-Sprachmodelle: Sie funktionieren wie die bekannten großen Sprachmodelle hinter ChatGPT (die Large Language Models, kurz LLMs), haben aber deutlich weniger interne Stellschrauben (Parameter, das sind die trainierten Gewichte im Modell). Typischerweise sind es 0,5 bis rund 10 Milliarden statt hunderten Milliarden. Dadurch antworten sie schneller, kosten pro Anfrage weniger und lassen sich auch auf kleinerer Hardware betreiben: auf einem Notebook, einem Smartphone (On-Device, also direkt auf dem Endgerät) oder in einem eigenen Rechenzentrum am Rand des Netzes (Edge, wörtlich „Rand", der Betrieb nahe am Nutzer statt in einer entfernten Cloud). Verbreitete Vertreter sind Phi-3 und Phi-4 (Microsoft), Llama 3.2 (Meta), Gemma 2 (Google), Mistral 7B und DeepSeek-R1-Distill.

Was ist ein Small Language Model?

Ein Small Language Model ist ein KI-Textmodell, das aus einem angefangenen Text den nächsten Textbaustein vorhersagt (die kleinen Einheiten, aus denen Sprachmodelle Wörter zusammensetzen, heißen Tokens und sind meist Wortteile). Genau dieser Mechanismus steckt auch hinter Chat-Assistenten wie ChatGPT. Technisch nutzt ein SLM dieselbe Modell-Architektur wie ein [Large Language Model](/insights/glossar/large-language-models/), nämlich den sogenannten Transformer (ein 2017 veröffentlichter Bauplan für neuronale Netze, der heute Standard für Sprachmodelle ist). Der Unterschied liegt in der Größe: Ein SLM hat typischerweise zwischen 0,5 und rund 10 Milliarden Parameter (die trainierten Gewichte, die das Modell während des Trainings lernt); ein großes Flagship-LLM (das jeweilige Spitzenmodell eines Anbieters) hat eine bis mehrere hundert Milliarden.

Der Begriff hat sich mit einer neuen Modellgeneration ab 2024 etabliert. Microsoft prägte den Frame mit der Phi-Reihe (Phi-3-mini 3,8B, Phi-4 14B) und dem [Phi-4 Technical Report](https://arxiv.org/abs/2412.08905), Meta positionierte Llama 3.2 in 1B- und 3B-Varianten explizit für Smartphone-NPUs und Notebook-Inferenz ([Llama 3.2 Release-Blog](https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/)), Google veröffentlichte Gemma 2 (2B/9B) und Gemma 3 unter offener Lizenz ([Gemma-Dokumentation](https://ai.google.dev/gemma)). Eine harte Parameter-Grenze zwischen SLM und LLM gibt es nicht; im Markt-Konsens 2026 gilt alles unter etwa 15 Milliarden Parametern als SLM.

Der Grund für die Klasse liegt in der Kosten- und Latenz-Rechnung des LLM-Betriebs. Inferenz-Kosten und Speicher-Footprint skalieren mit der Parameterzahl. Für hochfrequente, schmale Aufgaben wie Klassifikation, Extraktion, kurze Frage-Antwort und strukturierte Ausgaben reicht ein SLM in vielen Fällen an die Qualität eines Flagship-LLMs heran, bei einem Bruchteil der Kosten pro Token und deutlich niedrigerer Latenz. Zusätzlich öffnen SLMs Deployment-Pfade, die für Flagships nicht offen stehen: On-Device auf Notebook und Smartphone, Edge auf eigener Hardware, kleine Cloud-GPU im On-Prem-Setup.

Die hohe Leistung pro Parameter beruht auf vier Trainingsstrategien. [Distillation](/insights/agentic-ai/distillation/) trainiert ein kleines Schüler-Modell so, dass es die Ausgaben eines größeren Lehrer-Modells nachbildet ([Hinton et al. 2015](https://arxiv.org/abs/1503.02531)); DeepSeek-R1-Distill überträgt auf diesem Weg Reasoning-Fähigkeiten in ein kleineres Modell. Kuratierte Trainingsdaten in „Textbook-Qualität" mit hohem Reasoning-Anteil ersetzen den rohen Web-Crawl und heben besonders die Phi-Reihe an. Instruction- und Preference-Tuning auf sorgfältig zusammengestellten Antwort-Datensätzen richten das Modell auf produktive Zielverwendung aus. Und [Quantisierung](/insights/glossar/quantization/) reduziert die Inferenz-Präzision der Gewichte (INT4, INT8, NF4), verkleinert den Speicher-Footprint zusätzlich und ermöglicht Edge-Deployment auf begrenzter Hardware.

Abgrenzung zu LLMs, Foundation Models, Task-spezifischen Modellen und Edge AI

Der SLM-Begriff wird häufig mit benachbarten Kategorien vermischt. Die relevanten Trennlinien:

Der Unterschied zu [Large Language Models](/insights/glossar/large-language-models/) ist eine Positionierung und keine harte Parameter-Grenze. LLMs werben mit breiten Fähigkeiten, Emergenz und Chain-of-Thought bei hohen Kosten und Latenz. SLMs werben mit niedrigen Inferenz-Kosten, niedriger Latenz und Edge-Tauglichkeit bei begrenzter Aufgabenbreite. Im Markt-Konsens 2026 liegt die Grenze bei rund 15 Milliarden Parametern. Beide Klassen nutzen dieselbe Transformer-Architektur und dieselben Trainings-Paradigmen; der Unterschied ist die Skalierung.

Ein [Foundation Model](/insights/glossar/foundation-models/) ist die Oberkategorie: großmaßstäblich selbstüberwacht vortrainiert, aufgaben-offen, per Prompting und [Fine-Tuning](/insights/glossar/fine-tuning/) auf viele Downstream-Aufgaben adaptierbar. Ein SLM ist ein Foundation Model mit Modalität Text und kleiner Parameter-Größe. Die Achse Groß/Klein ist orthogonal zur Foundation-Model-Eigenschaft. Ein SLM bleibt trotz kleiner Größe generisch anpassbar und lässt sich instruktions- und feintunen wie ein großes Modell, mit deutlich weniger GPU-Bedarf.

Task-spezifische Modelle wie BERT- oder T5-Feintunes werden pro Aufgabe trainiert und sind nicht mehr generisch nutzbar. Ein SLM ist über Prompting, In-Context Learning und Fine-Tuning auf viele Aufgaben adaptierbar und bleibt aufgaben-offen; die kleine Größe ist eine Kosten- und Latenz-Entscheidung, kein Verzicht auf die Foundation-Model-Eigenschaft.

Edge AI beschreibt einen Deployment-Aspekt: das Modell läuft auf Edge-Hardware, mobilen Geräten oder NPUs in Notebooks (Apple Silicon, Snapdragon X, Intel Lunar Lake, AMD Ryzen AI). Edge AI ist keine Modell-Kategorie. SLMs sind die Modell-Klasse, die Edge AI im Sprachbereich praktisch macht; beide Begriffe werden häufig zusammen genannt, sind aber unabhängig. Ein LLM lässt sich prinzipiell auch am Edge betreiben, wenn genug Hardware vorhanden ist; in der realen Kosten- und Speicher-Rechnung ist Edge-Betrieb heute überwiegend eine SLM-Domäne.

Auch die Verwechslung mit quantisierten Flagship-LLMs ist verbreitet. Ein INT4-quantisiertes 70B-Modell hat weiter 70 Milliarden Parameter, nur mit weniger Bits pro Parameter. Ein SLM hat architektonisch weniger Parameter. Beide Verfahren adressieren den Speicher-Footprint auf verschiedenen Achsen und lassen sich kombinieren: ein quantisiertes SLM ist der schmalste produktive Endpoint im aktuellen LLM-Stack.

Beispiel: Phi-4 als Ticket-Klassifikator mit Flagship-Fallback

Ein typischer produktiver Einsatz zeigt die Rolle eines SLMs im Modell-Stack. Ein Team betreibt eine Ticket-Klassifikations-Pipeline, die täglich rund 50.000 Support-Tickets in zwölf Kategorien einsortiert und zusätzlich strukturierte Metadaten extrahiert: Sprache, Priorität, Produktbezug, Kundensegment. Ursprünglich lief die Pipeline über einen Flagship-LLM-Endpoint der GPT-4-Klasse; die Jahreskosten waren sechsstellig, die Latenz lag bei ein bis zwei Sekunden pro Ticket.

Nach dem Wechsel auf Phi-4 (14B) im Self-Hosting auf einer H100-GPU sinken die Inferenz-Kosten pro Ticket um mehr als eine Größenordnung, die Latenz auf unter 300 Millisekunden, die Klassifikations-Genauigkeit bleibt gemessen auf demselben Niveau. Der Flagship-Endpoint wird nur noch für Randfälle über ein LLM-Gateway aufgerufen (Model-Routing über Confidence-Scoring). Parallel läuft Llama 3.2 3B in einer quantisierten Variante direkt auf den Notebooks der Support-Agenten und schlägt erste Antworten offline vor, ohne Cloud-Roundtrip. Die Modell-Auswahl pro Workload und die Hosting-Pfade zeigt der Cluster [Small Language Models](/insights/agentic-ai/small-language-models/) im Detail.