Tokenization: Definition, Verfahren und Kostenrelevanz

Tokenization ist der Schritt, bei dem ein Sprachmodell (Large Language Model, kurz LLM) den Eingabetext in kleine Bausteine zerlegt, bevor es ihn verarbeitet. Diese Bausteine heißen Tokens; das sind meist ganze Wörter oder Wortfragmente. Zuständig ist der Tokenizer: ein festes Nachschlagewerk (das Vokabular) plus ein Regelwerk, wie zerlegt wird. Die Zahl der Tokens bestimmt, wie viel Text ins Modell passt und was ein API-Aufruf kostet.

Was ist Tokenization?

Ein Tokenizer nimmt einen Text (technisch als Bytefolge, also die Zahlendarstellung von Buchstaben im Computer) und schlägt darin Fragmente aus einem festen Vokabular nach; typisch 32.000 bis 256.000 Einträge. Als Ergebnis liefert er eine Reihe von Zahlen-Ids, eine pro erkanntem Fragment. Der Vorgang ist deterministisch (gleicher Text ergibt immer dieselben Ids), läuft ohne Modell-Aufruf und dauert wenige Millisekunden pro tausend Zeichen. Die Rückwandlung der Ids in Text (Detokenisierung) ist bei allen produktiven Tokenizern verlustfrei, weil das Vokabular Leerzeichen und Zeichenreihenfolge mitkodiert.

Der Grund für Sub-word-Verfahren liegt in zwei Grenzen älterer Ansätze. Wort-Tokenization scheitert an Out-of-Vocabulary-Fällen (jedes nicht im Wortschatz enthaltene Token wird zum Unknown-Token, was Modellqualität massiv senkt). Zeichen-Tokenization vermeidet OOV, macht Sequenzen aber zu lang für die quadratisch skalierende Attention. Sub-word-Verfahren teilen häufige Wörter als Ganzes und seltene Wörter in häufige Fragmente. Das Vokabular bleibt endlich, OOV verschwindet, Sequenzen bleiben moderat.

Die relevanten Verfahren im aktuellen LLM-Feld: Byte-Pair Encoding (BPE, iterative Zusammenführung häufiger Byte-Paare, Basis für GPT-Modelle und Llama-1); WordPiece (Google, Likelihood-basiert, verwendet in BERT); SentencePiece (Google, sprachagnostisch, arbeitet direkt auf Bytes ohne Vor-Tokenisierung nach Whitespace, verwendet in Llama-2 und Llama-3); Tiktoken (OpenAI, BPE-Variante mit optimiertem Byte-Level-Vokabular wie cl100k_base für GPT-4 und o200k_base für GPT-4o); Unigram-Language-Model (probabilistisches Sub-word-Modell, oft in Kombination mit SentencePiece).

Tokenization sitzt vor jeder Modell-Berechnung: Rohtext geht in den Tokenizer, die resultierenden Token-Ids werden in eine [Embedding](/insights/glossar/embeddings/)-Matrix nachgeschlagen, die Vektoren fließen in die Attention-Schichten. Das Vokabular ist mit dem trainierten Modell verheiratet; ein Wechsel des Tokenizers verändert die Embedding-Matrix und erfordert Retraining oder vollständiges Fine-Tuning. Diese enge Kopplung erklärt, warum Modelle mit ihrem Tokenizer als Paket ausgeliefert werden.

Der Begriff existiert als eigener Terminus, weil dieselbe Eingabe in verschiedenen Tokenizern zu unterschiedlich vielen Tokens werden kann, mit direkter Kosten- und Kontext-Fenster-Konsequenz. Deutsche Texte werden von Llama-2-SentencePiece typisch 1,3- bis 1,5-mal tokenreicher zerlegt als von Tiktoken cl100k_base, weil Umlaute und Komposita in mehr Sub-word-Fragmente aufgeteilt werden. An APIs mit Pro-Token-Abrechnung ist die Tokenizer-Wahl damit eine indirekte Kosten-Entscheidung.

Abgrenzung zu Token, Embedding, BPE und klassischer NLP-Tokenisierung

Vier Begriffe werden regelmäßig mit Tokenization verwechselt. Die relevanten Trennlinien:

Begriff	Ebene	Verhältnis zu Tokenization
Token	Ausgabe-Einheit	Das diskrete Ergebnis, eine Integer-Id plus zugehöriges Text-Fragment. Tokenization ist der Vorgang, Token die Einheit.
Embedding	Vektor-Darstellung	Die dichte numerische Repräsentation eines Tokens (typisch 768 bis 4.096 Dimensionen). Wird nach der Tokenization per Lookup in der Embedding-Matrix erzeugt; der Tokenizer liefert nur die Id.
Byte-Pair Encoding (BPE)	Algorithmus	Ein spezifisches Sub-word-Verfahren einer Familie. Tokenization ist der Oberbegriff, BPE eine konkrete Umsetzung neben WordPiece, SentencePiece und Unigram-LM.
Klassische NLP-Tokenisierung	Wort-Segmentierung	Zerlegung nach Whitespace und Interpunktion, sprach-spezifisch, gröber. LLM-Tokenization arbeitet sub-wortlich mit festem Vokabular, sprachagnostisch, deterministisch reproduzierbar.

Die häufigste Verwechslung ist Tokenization vs. Token. Der Tokenizer ist das Werkzeug (Vokabular plus Regelset), das Token ist das Ergebnis (Id plus Fragment). Ein API-Aufruf mit 1.000 Input-Tokens kostet den Preis für 1.000 Einheiten, unabhängig davon, welcher Tokenizer sie produziert hat; die Tokenizer-Wahl ist beim jeweiligen Modell fix.

Die zweite Verwechslung ist Tokenization vs. Embedding. Beide sitzen am Anfang der Modell-Pipeline, sind aber getrennte Schritte. Tokenization ist symbolisch und deterministisch (Text zu Ids), Embedding ist numerisch und modell-spezifisch (Ids zu Vektoren). Ein Wechsel des Embedding-Modells lässt Tokenization intakt; ein Wechsel des Tokenizers zwingt zu neuen Embeddings.

Die dritte Trennlinie verläuft zwischen Tokenization für LLMs und klassischer NLP-Tokenisierung. Der klassische Weg (spaCy, NLTK) segmentiert nach linguistischen Regeln pro Sprache; LLM-Tokenizer nutzen statistisch gelernte Sub-word-Vokabulare, die sprachneutral funktionieren und Bytes statt Zeichen als Basis-Einheit haben. Klassische Tokenisierung ist für Informationsextraktion und Parsing ausgelegt, LLM-Tokenization für kompakte, verlustfreie Encoding-Effizienz im Trainings- und Inferenz-Kontext.

Beispiel: Token-Zählung für einen deutschen Satz in drei Tokenizern

Der Satz „Die Datenplattform verarbeitet Sensordaten aus Produktionsanlagen." wird in drei verbreiteten Tokenizern unterschiedlich zerlegt.

Tiktoken cl100k_base (GPT-4, GPT-3.5-Turbo) produziert rund 13 Tokens; deutsche Wörter mit stabilen Endungen werden weitgehend als ganze Einheiten kodiert, weil das Vokabular mit deutschen Trainingsdaten mitoptimiert wurde. Tiktoken o200k_base (GPT-4o, GPT-4.1) liegt bei etwa 11 Tokens, weil das Vokabular auf 200.000 Einträge erweitert wurde und mehr deutsche Kompositionen als ganze Tokens enthält. Llama-2-SentencePiece (32.000 Einträge, primär englisch trainiert) zerlegt denselben Satz in rund 18 Tokens, weil deutsche Endungen und Umlaute in mehr Sub-word-Fragmente aufgesplittet werden.

Der Faktor zwischen o200k_base und Llama-2 liegt bei rund 1,6× für diesen Satz und typisch bei 1,3× bis 1,5× für längere deutsche Texte. Konsequenz für Anwendungen: Bei einem 200.000-Token-Kontextfenster füllt dieselbe Wissensbasis im Llama-2-Tokenizer 1,3-mal mehr Fenster-Anteil, und die Kosten an einer nach Tokens abgerechneten API steigen entsprechend. Für RAG-Architekturen und [Context Engineering](/insights/agentic-ai/context-engineering/) bedeutet das: Chunk-Größen und Budget-Schätzungen werden pro Ziel-Tokenizer gerechnet, in Tokens des Ziel-Vokabulars.

Der Vergleich lässt sich mit dem OpenAI-Tiktokenizer (tiktokenizer.vercel.app) oder dem Hugging Face Tokenizer-Playground direkt nachvollziehen; beide zeigen die Zerlegung Token für Token und legen die Kosten-Konsequenz einer Tokenizer-Wahl offen.