Reasoning Models

Reasoning Models sind KI-Sprachmodelle (Large Language Models, kurz LLMs), die vor der eigentlichen Antwort einen schrittweisen Denkprozess (Chain of Thought, kurz CoT) durchlaufen. Sie skizzieren also Zwischenschritte, verwerfen Ansätze und prüfen Ergebnisse, bevor sie antworten. Dieses Denken wird ihnen im Training über Reinforcement Learning (Belohnungs-basiertes Lernen aus korrekten Lösungswegen) beigebracht und lässt sich zur Laufzeit über Test-Time Compute (mehr Rechenzeit pro Antwort) verlängern. Dadurch liefern sie bei Mathematik, Code und mehrstufiger Logik deutlich bessere Ergebnisse als Standard-LLMs (Sprachmodelle ohne diesen expliziten Denkschritt, z. B. GPT-4o oder Claude Sonnet ohne Thinking-Modus).

Was sind Reasoning Models?

Ein Reasoning Model erzeugt vor der sichtbaren Antwort einen internen Reasoning-Trace, also eine ausgeschriebene Gedanken-Kette aus Zwischenschritten, Selbstkorrekturen, Alternativpfaden und Verifikationen. Diese Kette bleibt für den Nutzer meist verborgen: Die OpenAI-o-Serie zeigt nur eine Zusammenfassung, Anthropic Claude Extended Thinking und DeepSeek R1 stellen den Rohtext auf Wunsch bereit. Die technische Grundstruktur (die Modell-Architektur, also der interne Aufbau des neuronalen Netzes) ist derselbe Transformer wie bei Standard-LLMs, häufig mit einer Mixture-of-Experts-Erweiterung (mehrere spezialisierte Teil-Netze, von denen pro Anfrage nur ein Teil aktiv ist). Der Unterschied liegt im Training und im Verhalten bei der Antwort-Erzeugung (Inferenz); die Architektur bleibt weitgehend gleich.

Ausgangspunkt ist ein vortrainiertes [Foundation Model](/insights/glossar/foundation-models/). Darauf wird Reinforcement Learning angewandt: belohnt werden korrekte Endantworten bei verifizierbaren Aufgaben (Mathematik, Code, formale Beweise) oder von einem Reward-Modell bewertete Reasoning-Traces. [DeepSeek R1](https://arxiv.org/abs/2501.12948) (DeepSeek-AI 2025) zeigt öffentlich, dass reines RL auf korrekten Antworten mit dem GRPO-Algorithmus ausreicht, damit lange Reasoning-Ketten emergieren. Das Modell lernt selbstständig, zu reflektieren, Sackgassen zu erkennen und Ansätze zu revidieren, ohne dass diese Muster explizit annotiert werden. Der Begriff wurde durch die [o1-Vorstellung von OpenAI](https://openai.com/index/learning-to-reason-with-llms/) im September 2024 als eigene Modell-Klasse etabliert.

Test-Time Compute ist der zweite Skalierungshebel. Statt größere Modelle zu trainieren, wird bei der Inferenz mehr Rechenzeit für längere Reasoning-Traces investiert. [Snell et al. 2024](https://arxiv.org/abs/2408.03314) zeigen, dass Test-Time-Compute-Skalierung bei gleicher Aufgabengüte weniger Ressourcen verbrauchen kann als eine proportionale Vergrößerung des Basismodells. Die Steuerung dieses Aufwands passiert über einen API-Parameter: OpenAI o1/o3/o4 bieten reasoning_effort in drei Stufen (low, medium, high), Anthropic verwendet ein explizites budget_tokens, Google Gemini 2.5 ein Thinking-Budget. Höherer Aufwand bedeutet höhere Latenz und höhere Kosten pro Anfrage, da Reasoning-Tokens abgerechnet werden, auch wenn sie nicht ausgeliefert werden.

Zur Klasse gehören inzwischen mehrere Vertreter. Bei den proprietären Modellen sind das die OpenAI-o-Serie (o1, o3, o4-mini), Anthropic Claude 3.7 Sonnet und Claude 4 Opus mit Extended Thinking sowie Google Gemini 2.5 Pro/Flash mit Thinking. Open-Weight-Vertreter sind DeepSeek R1 und R1-Zero (MIT-Lizenz), Qwen QwQ und DeepSeek-V3.1. Anthropic und Google verfolgen dabei ein hybrides Modell-Design: dasselbe Modell arbeitet je nach Parameter im Standard- oder im Reasoning-Modus. OpenAI trennt die Modelle stärker.

Die Stärken der Klasse liegen bei Aufgaben mit hoher Reasoning-Tiefe: Mathematik-Olympiaden (AIME, IMO), Wettbewerbs-Code (Codeforces, LiveCodeBench), wissenschaftliches Reasoning (GPQA Diamond), mehrschrittige logische Aufgaben und formale Beweise. Bei einfachen Chat-Aufgaben, Kreativ-Schreiben oder Latenz-kritischen Anwendungen wie Voice-Agenten oder IDE-Autocomplete sind Standard-LLMs meist die passendere Wahl, weil Reasoning-Tokens die Latenz vom Millisekunden- in den Sekunden- bis Minutenbereich verschieben und die Token-Kosten pro Anfrage nicht-linear steigen. Ein einzelner Prompt kann 5.000 bis 100.000 Reasoning-Tokens verbrauchen.

Abgrenzung zu Standard-LLMs, Chain-of-Thought Prompting, Agentic Workflows und Test-Time Compute

Reasoning Models werden häufig mit angrenzenden Konzepten vermischt. Die relevanten Trennlinien:

Ein Standard-[Large Language Model](/insights/glossar/foundation-models/) wie GPT-4o, Claude Sonnet ohne Thinking, Llama 3 oder Mistral springt direkt von der Frage zur Antwort. Reasoning Models schieben einen internen Chain-of-Thought-Trace ein, bevor sie antworten. Beide Klassen sind LLMs auf Transformer-Basis. Der Unterschied entsteht durch das Trainings-Paradigma (RL auf Reasoning-Traces) und die Inferenz-Steuerung (Reasoning-Effort-Parameter); die Modell-Architektur bleibt weitgehend gleich.

[Chain-of-Thought Prompting](/insights/glossar/chain-of-thought/) bezeichnet eine Prompt-Technik und keine eigene Modell-Klasse. Der Prompt-Trigger „Let's think step by step" ([Kojima et al. 2022](https://arxiv.org/abs/2205.11916)) oder Few-Shot-Beispiele mit ausgeschriebenem Rechenweg ([Wei et al. 2022](https://arxiv.org/abs/2201.11903)) zwingen ein beliebiges Sprachmodell dazu, Zwischenschritte zu zeigen. Das Modell bleibt gleich. Reasoning Models internalisieren dieses Muster im Training und produzieren den Trace ohne Prompt-Trigger. Formal ist ein Reasoning Model die Trainings-Antwort auf die Prompting-Beobachtung von 2022.

Ein Agentic Workflow ruft während der Antwort-Erzeugung externe Werkzeuge auf, also Suche, Code-Ausführung, APIs, Retrieval. Die Verkettung passiert außerhalb des Modells und ist Teil eines Frameworks wie LangGraph oder eines Agenten-Loops. Ein Reasoning Model denkt intern durch Selbst-Reflexion und Verifikation, ohne externe Aufrufe. Beide Ansätze schließen sich nicht aus: OpenAI o3 und Claude Extended Thinking können Tool-Use im Reasoning-Trace verzahnen, wobei das Modell selbst entscheidet, wann ein Tool aufgerufen wird.

Test-Time Compute bezeichnet den allgemeinen Skalierungshebel, bei der Inferenz mehr Rechenzeit zu investieren: Best-of-N-Sampling, Self-Consistency, Beam Search, längere Reasoning-Traces. Reasoning Models sind die Modell-Klasse, die diesen Hebel systematisch nutzt. Auch ein Standard-LLM kann Test-Time Compute über Self-Consistency einsetzen, erreicht aber die Trace-Qualität eines RL-trainierten Reasoning Models nicht, weil die Reflexions- und Verifikations-Muster im Modell selbst nicht angelegt sind.

Ein [fine-getuntes Modell](/insights/glossar/fine-tuning/) ist die allgemeinere Kategorie. Ein Reasoning Model ist eine spezielle RL-Fine-Tuning-Variante auf Reasoning-Traces; ein Instruction-Tuning auf Frage-Antwort-Paare erzeugt kein explizites Reasoning-Verhalten. Orthogonal dazu ist Mixture-of-Experts eine Architektur-Entscheidung zur Effizienz. Reasoning Models können MoE-basiert sein (DeepSeek R1 auf V3-MoE) oder dichte Transformer (o-Serie, Details proprietär).

Beispiel: Mathematik-Olympiade und Code-Review

Ein häufig zitiertes Vergleichs-Ergebnis: bei der Mathematik-Olympiade AIME 2024 löst GPT-4o rund 9 Prozent der Aufgaben, OpenAI o1 rund 83 Prozent (Zahlen aus der o1-Systemkarte). Der Unterschied entsteht nicht durch mehr Wissen, sondern durch den Reasoning-Trace. Das Modell skizziert Ansätze, verwirft sie, setzt neu an, verifiziert Zwischenergebnisse und dokumentiert den Lösungsweg. Der Trace selbst bleibt beim Nutzer verborgen, wird aber als Reasoning-Tokens abgerechnet. Eine einzelne Wettbewerbs-Aufgabe kann zwischen 20.000 und 100.000 Tokens Reasoning verbrauchen.

Im Betrieb zeigt sich derselbe Effekt bei Code-Review. Ein Pull Request mit 400 Zeilen Diff geht in einen Review-Bot. Ein Standard-LLM antwortet in etwa zwei Sekunden mit oberflächlichem Feedback. Ein Reasoning Model wie o3 mit reasoning_effort=high oder Claude Sonnet 4 mit budget_tokens=16000 braucht 30 bis 90 Sekunden, findet aber Fehlerklassen wie Race Conditions, Off-by-One-Fehler oder subtile Type-Coercion-Probleme, die der Standard-Bot übersieht. Die Betriebs-Entscheidung ist aufgaben-abhängig: latenz-kritische Antworten in Voice-Agenten oder IDE-Autocomplete bleiben beim Standard-LLM, komplexe Analyse-Aufgaben wie Code-Audit, Financial Modeling oder wissenschaftliches Q&A profitieren vom Reasoning Model. Hybride Modelle wie Claude 3.7 Sonnet erlauben den Umschalter pro Anfrage im gleichen API-Endpunkt, sodass die Anwendungs-Schicht nicht zwischen zwei Modellen wechseln muss.