Chain-of-Thought (CoT, deutsch: Gedankenkette) ist eine Formulierungs-Regel für die Eingabe an eine KI (den sogenannten Prompt): Statt nur die Frage zu stellen, wird das Sprachmodell (also eine KI wie ChatGPT) dazu gebracht, den Lösungsweg in Zwischenschritten aufzuschreiben, bevor es die endgültige Antwort nennt. Die Technik wurde 2022 von Wei et al. bei Google Research vorgestellt und verbessert die Trefferquote großer KI-Modelle bei Aufgaben, die mehrere Denkschritte brauchen, etwa Rechenaufgaben, das Umformen von Symbolen (zum Beispiel Formeln) und logisches Schlussfolgern.
Was ist Chain-of-Thought?
Chain-of-Thought Prompting ändert nicht die KI selbst, sondern die Art, wie die Frage gestellt wird. Die Eingabe (der Prompt) zwingt das Sprachmodell dazu, den Weg zur Antwort Schritt für Schritt aufzuschreiben. Aus einem Ein-Schritt-Sprung von der Frage zur Zahl wird eine Kette aus Teilschritten: benennen, was gegeben ist, das Zwischenergebnis berechnen, das Ergebnis kombinieren, die Antwort schreiben.
Der Begriff geht auf [Wei et al. 2022](https://arxiv.org/abs/2201.11903) zurück. Die Autoren zeigten, dass wenige Few-Shot-Beispiele, in denen der Reasoning-Pfad explizit ausgeschrieben ist, die Genauigkeit großer Sprachmodelle bei Aufgaben wie GSM8K (Grundschul-Mathematik-Textaufgaben) drastisch anhebt. Der Effekt tritt erst ab einer Modellgröße von etwa 100 Milliarden Parametern deutlich auf und gilt in der Literatur als Beispiel einer emergenten Fähigkeit. Kleine Modelle profitieren kaum oder werden durch die längeren Ausgaben eher schlechter.
Eine Variante ohne Beispielsätze heißt Zero-Shot-CoT. [Kojima et al. 2022](https://arxiv.org/abs/2205.11916) beobachteten, dass allein der Zusatz „Let's think step by step" (sinngemäß „Schritt für Schritt denken") an das Ende der Frage die Reasoning-Leistung ähnlich hebt, ohne dass Few-Shot-Beispiele nötig sind. Dieser Trigger ist inzwischen in viele System-Prompts eingezogen und ist der Grund, warum aktuelle Chat-Modelle bei komplexen Fragen häufig von sich aus Zwischenschritte zeigen.
Neuere Reasoning-Modelle (OpenAI o1, DeepSeek-R1 und Nachfolger) internalisieren dieses Muster: Sie erzeugen im Hintergrund einen „Thinking"-Trace und geben die Antwort erst nach diesem verborgenen Reasoning-Schritt aus. CoT ist damit von einer reinen Prompting-Technik zum Trainings- und Inferenz-Paradigma für ganze Modellklassen geworden. Der Kostenpunkt bleibt: jeder Zwischenschritt kostet Tokens und damit Latenz und Geld.
Abgrenzung zu Zero-Shot, Few-Shot, Self-Consistency, ReAct und Tree of Thoughts
Der Begriff wird häufig mit angrenzenden Prompting- und Reasoning-Techniken vermischt. Die relevanten Trennlinien:
| Begriff | Merkmal | Verhältnis zu Chain-of-Thought |
|---|---|---|
| Zero-Shot Prompting | Nur die Frage, kein Beispiel, kein Reasoning-Pfad | Kontrastfall; das Modell springt direkt zur Antwort |
| Few-Shot Prompting | Wenige Ein-/Ausgabe-Beispiele ohne ausformulierte Zwischenschritte | Vorstufe; CoT ist Few-Shot mit ausgeschriebenen Reasoning-Pfaden |
| Zero-Shot-CoT | Trigger-Satz („Let's think step by step") ohne Beispiele | CoT-Variante nach Kojima et al. 2022 |
| Self-Consistency | Mehrere CoT-Pfade werden parallel gesampelt und per Mehrheitsentscheid aggregiert | Erweiterung von CoT; senkt Fehlerquote durch Voting |
| ReAct | Verzahnt Reasoning-Schritte mit Werkzeug-Aufrufen (Suche, API, Code-Ausführung) | Kombiniert CoT mit externen Aktionen im Agenten-Loop |
| Tree of Thoughts | Baum verzweigter Reasoning-Pfade mit Rückverfolgung und Bewertung | Strukturelle Erweiterung; CoT ist der lineare Sonderfall |
Few-Shot Prompting und CoT werden in der Literatur getrennt geführt, obwohl CoT technisch eine Untermenge von Few-Shot ist. Der Unterschied liegt am Beispiel-Format: Bei Few-Shot enthält das Beispiel nur Eingabe und Endantwort, bei CoT enthält das Beispiel zusätzlich den ausgeschriebenen Rechen- oder Argumentationsweg. Die Modellausgabe folgt diesem Muster und produziert selbst Zwischenschritte.
Self-Consistency ([Wang et al. 2022](https://arxiv.org/abs/2203.11171)) baut auf CoT auf: Statt eines Reasoning-Pfads werden viele Pfade gesampelt und die häufigste finale Antwort gewinnt. ReAct ([Yao et al. 2022](https://arxiv.org/abs/2210.03629)) fügt Aktionen in die Kette ein, ist damit die Brücke von reinen Text-Reasoning-Techniken zu handelnden Agenten. Tree of Thoughts verlässt die lineare Kette und erlaubt Verzweigung und Rücksprung, mit höherem Rechenaufwand.
Beispiel: Mathematische Textaufgabe
Ein klassisches Beispiel aus dem Wei-Paper zeigt den Unterschied. Frage: „Roger hat 5 Tennisbälle. Er kauft 2 Dosen mit je 3 Bällen. Wie viele Bälle hat er jetzt?"
Ohne Chain-of-Thought antwortet ein Standardmodell auf ein Few-Shot-Beispiel-Set aus Frage-Antwort-Paaren häufig direkt mit einer Zahl, oft der falschen. Mit Chain-of-Thought steht im Few-Shot-Beispiel selbst ein ausformulierter Rechenweg. Das Modell übernimmt dieses Muster und antwortet dann etwa: „Roger startet mit 5 Bällen. 2 Dosen mit je 3 Bällen ergeben 6 Bälle. 5 plus 6 sind 11. Die Antwort ist 11."
Der gleiche Effekt zeigt sich in produktiven Anwendungen. In einem Retrieval-Augmented-QA-System kann ein CoT-Prompt das Sprachmodell zwingen, zuerst die Frage in Sub-Fragen zu zerlegen, dann die relevanten Textabschnitte aus dem Kontext zu identifizieren und die Antwort erst im letzten Schritt zu synthetisieren. Bei komplexen Fragen mit mehreren Bedingungen (Datum, Rolle, Filter) sinkt die Halluzinationsrate messbar, weil das Modell im Reasoning-Schritt fehlende Angaben eher benennt. Der Preis sind höhere Latenzen und höhere Token-Kosten pro Anfrage.
Chain-of-Thought im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.