Temperature (LLM): Definition, Wirkung, Abgrenzung

Temperature ist ein Stellrad an einem Sprachmodell (Large Language Model, LLM), das steuert, wie berechenbar oder wie kreativ die Antwort ausfällt. Bei niedrigen Werten wählt das Modell konsequent die wahrscheinlichste Formulierung und liefert bei gleicher Frage die gleiche Antwort; bei hohen Werten mischt es Zufall bei, die Antworten werden abwechslungsreicher, aber auch riskanter. Übliche Werte in den APIs (Programmier-Schnittstellen der Anbieter) liegen zwischen 0 und 2.

Was ist Temperature?

Temperature ist ein Regler, den man beim Aufruf eines Sprachmodells mitschickt. Das Modell schreibt Antworten Wort für Wort, genauer: Token für Token (Wort- oder Wortteil-Bausteine, aus denen das Modell Text zusammensetzt). Für jedes nächste Token berechnet es intern eine Rangliste möglicher Kandidaten mit zugehörigen Wahrscheinlichkeiten. Temperature verändert, wie stark diese Rangliste zugunsten des Favoriten verzerrt wird: Bei Werten unter 1 wird der Favorit noch dominanter, das Modell wählt fast immer die wahrscheinlichste Fortsetzung. Bei Werten über 1 rücken die weniger wahrscheinlichen Kandidaten näher heran, die Ausgabe wird variantenreicher. Mathematisch teilt der Parameter T die internen Wahrscheinlichkeits-Werte vor der Auswahl: softmax(logits / T).

Zwei Grenzfälle sind praktisch relevant. Bei T = 0 (oder sehr kleinen Werten) entspricht das Sampling dem Greedy-Decoding, das Modell wählt immer den argmax der Verteilung und liefert bei festgelegtem Seed deterministische Antworten. Bei T = 1 bleibt die trainierte Verteilung unverändert, das ist die Referenz-Kalibrierung aus dem Training. Werte darüber verstärken den Zufallsanteil, Werte darunter dämpfen ihn.

Die Anbieter setzen den Parameter unterschiedlich um. OpenAI, Google Gemini und DeepSeek unterstützen Temperature im Bereich 0 bis 2, Anthropic Claude im Bereich 0 bis 1. Der Default-Wert liegt bei den meisten APIs zwischen 0,7 und 1,0. Reasoning-Modelle wie die OpenAI-o-Serie, Gemini 2.5 Thinking oder Claude Extended Thinking ignorieren Temperature oder unterstützen sie nicht: dort entsteht die Antwort-Variation über den Reasoning-Trace, während das Sampling auf einem festen Wert bleibt.

Empirisch etablierte Bänder für den Betrieb: 0 bis 0,3 für Extraktion, Klassifikation, Code-Generierung und strikte Frage-Antwort-Aufgaben; 0,5 bis 0,8 als Default für Konversation, RAG-Antworten und allgemeine Assistenz; 0,9 bis 1,5 für Ideation, kreatives Schreiben, Story-Generierung. Über 1,5 steigt die Halluzinations-Rate messbar, [Peeperkorn et al. 2024](https://arxiv.org/abs/2405.00492) zeigen dabei, dass der Effekt auf die Kreativität kleiner ausfällt als das Marketing um den Parameter suggeriert.

Abgrenzung zu Top-k, Top-p, Seed und Distillation-Temperature

Temperature wird häufig mit anderen Sampling-Kontrollen und mit der gleichnamigen Variable aus dem Fine-Tuning verwechselt. Die relevanten Trennlinien:

Begriff	Verhältnis zu Temperature	Kern-Unterschied
Top-k	Ergänzung	Beschneidet die Kandidaten-Menge auf die k wahrscheinlichsten Tokens; skaliert die Verteilung nicht
Top-p (Nucleus Sampling)	Ergänzung	Beschneidet auf die kleinste Token-Menge mit kumulierter Wahrscheinlichkeit p
Frequency-/Presence-Penalty	Andere Achse	Senkt die Wahrscheinlichkeit bereits gewählter Tokens, steuert Wiederholung
Seed	Reproduzierbarkeit	Legt den Zufalls-Startwert fest, wirkt nur bei T > 0
Distillation-Temperature	Trainingsseitig	Skaliert Soft-Labels im Knowledge Distillation, kein Sampling

[Top-k und Top-p](/insights/glossar/foundation-models/) trunkieren die Kandidaten-Menge, bevor gesampelt wird. Top-k begrenzt auf die k wahrscheinlichsten Tokens, Top-p ([Nucleus Sampling nach Holtzman et al. 2019](https://arxiv.org/abs/1904.09751)) auf die kleinste Menge, deren kumulierte Wahrscheinlichkeit p erreicht. Temperature skaliert die zugrunde liegende Verteilung. Die Parameter kombinieren sich: eine typische Konfiguration ist T=0,7 mit top_p=0,9. OpenAI und Anthropic empfehlen, jeweils nur einen der beiden Trunkierungs-Parameter zusammen mit Temperature zu setzen, um sich nicht selbst zu blockieren.

Frequency-Penalty und Presence-Penalty greifen auf einer anderen Achse. Sie senken die Logits von Tokens, die bereits erzeugt wurden (Frequency: proportional zur Häufigkeit; Presence: einmalig bei erster Nennung). Damit steuern sie Wiederholungs-Muster. Temperature dagegen beeinflusst die Streuung der Verteilung über alle Tokens gleichmäßig.

Seed ist keine Steuerung der Verteilung, sondern der Zufalls-Ziehung daraus. Bei identischem Prompt, identischem Modell-Snapshot und identischem Seed liefern viele APIs bei T > 0 reproduzierbare Antworten. Bei T = 0 ist die Auswahl bereits deterministisch, der Seed ist dann irrelevant. In der Praxis garantieren die Anbieter Reproduzierbarkeit nur begrenzt, weil Modell-Updates und Hardware-Unterschiede die Ausgabe verändern können.

Die Distillation-Temperature aus [Hinton, Vinyals und Dean 2015](https://arxiv.org/abs/1503.02531) ist ein trainingsseitiger Parameter. Beim Knowledge Distillation skaliert sie die Soft-Labels des Lehrer-Modells, damit das Schüler-Modell auch die Wahrscheinlichkeiten der weniger dominanten Klassen lernt. Sie wirkt im Training, nicht bei der Inferenz, und wird nach dem Distillation-Lauf wieder auf 1 gesetzt. Der Namens-Konflikt geht auf denselben Softmax-Term zurück, die Rolle des Parameters ist aber eine andere.

Beispiel: Rechnungs-Extraktion versus Konversations-Chat

Ein Betrieb setzt denselben Modell-Endpunkt für zwei Aufgaben ein. Ein RAG-System extrahiert Rechnungsdaten aus PDFs und schreibt sie in eine relationale Tabelle. Die Antwort muss ein exaktes JSON gegen ein Schema liefern und darf weder Felder ergänzen noch Beträge halluzinieren. Konfiguration: temperature=0, top_p=1, optional Structured Output mit Schema-Erzwingung. Ergebnis: bei identischem Prompt identische Antwort, direkt parsebar.

Derselbe Endpunkt beantwortet in einem Kundenchat offene Support-Fragen. Hier ist Wiederholung des exakt gleichen Satzes bei ähnlichen Fragen unerwünscht; die Antwort soll natürlich klingen. Konfiguration: temperature=0,7, top_p=0,9. Ergebnis: gleicher Sinn, unterschiedliche Formulierung, spürbar menschlicher.

Für Ideation-Aufgaben (Brainstorming von Betreff-Zeilen, Produktbeschreibungen, alternativen Formulierungen) wird der Bereich bei temperature=1,0 bis 1,3 gefahren, oft in Kombination mit hohem top_p. Bei [Structured Output](/insights/glossar/structured-output/) überschreibt das Constrained Decoding die Wirkung hoher Temperature-Werte, weil während der Generierung nur schema-konforme Tokens zulässig sind. Bei [Reasoning Models](/insights/glossar/reasoning-models/) ist Temperature meistens fixiert oder wird nicht ausgewertet; die Antwort-Variation entsteht dort im Reasoning-Trace, während das Token-Sampling auf einem festen Wert bleibt.