Graph of Thoughts

Graph of Thoughts (GoT) ist eine Denk-Anleitung für ein großes Sprachmodell (LLM, das Modell hinter ChatGPT und ähnlichen Systemen). Statt einer geraden Gedankenkette darf das Modell verzweigen, zusammenführen und überarbeiten. Die einzelnen Zwischen-Gedanken werden als Netzwerk (Graph) angeordnet, in dem ein Gedanke aus mehreren Vorgängern entstehen kann. Vorgestellt haben die Technik 2023 [Besta et al.](https://arxiv.org/abs/2308.09687) an der ETH Zürich; sie verallgemeinert die einfachere Chain-of-Thought (Kette) und Tree of Thoughts (Baum).

Was ist Graph of Thoughts?

Graph of Thoughts stellt den Denk-Ablauf eines Sprachmodells als Netzwerk dar (in der Mathematik: gerichteter Graph). Jeder Punkt im Netzwerk (Knoten) enthält einen Zwischen-Gedanken, also ein Zwischenergebnis, einen Teilplan oder eine Teilantwort. Die Verbindungen (Kanten) zeigen, wie ein Gedanke aus einem oder mehreren früheren Gedanken entsteht: durch Verzweigung (ein Gedanke bekommt mehrere Fortsetzungen), durch Zusammenführung (mehrere Gedanken werden zu einem verschmolzen) oder durch Überarbeitung (ein Gedanke wird noch einmal ans Modell gegeben und verbessert).

Der Begriff geht auf Besta et al. 2023 zurück (siehe Primärquelle oben). Die Autoren aus der Scalable Parallel Computing Lab der ETH Zürich beschreiben GoT als Verallgemeinerung der linearen Chain-of-Thought (Wei et al. 2022) und der baumförmigen Tree of Thoughts (Yao et al. 2023). Die Referenz-Implementierung liegt als [Open-Source-Bibliothek auf GitHub](https://github.com/spcl/graph-of-thoughts). Das Paper wurde 2024 auf der AAAI-Konferenz veröffentlicht.

Das Framework definiert drei Kern-Operationen. Die Generate-Operation erzeugt aus einem Gedanken einen oder mehrere Nachfolger, etwa durch Sampling verschiedener Fortsetzungen desselben Prompts. Die Aggregate-Operation führt zwei oder mehr Gedanken zu einem neuen zusammen, indem ihre Inhalte in einem Prompt kombiniert und dem Modell übergeben werden. Die Refine-Operation wendet das Modell rekursiv auf einen bestehenden Gedanken an, um ihn zu verbessern. Ein Score-Mechanismus bewertet Gedanken, damit der Graph-Kontroller schwache Pfade verwirft.

Der Begriff existiert, weil weder eine Kette noch ein Baum bestimmte Reasoning-Muster abbildet. Sortieren, das Zusammenführen mehrerer Teilantworten oder die Set-Intersection über mehrere Quellen brauchen einen Schritt, in dem parallele Teil-Ergebnisse kombiniert werden. In einem Baum hat jeder Knoten genau einen Elternteil, ein Merge-Schritt ist damit strukturell ausgeschlossen. Ein Graph erlaubt mehrere Elternknoten pro Kind und macht Aggregation zur First-Class-Operation.

Abgrenzung zu Chain-of-Thought, Tree of Thoughts, Self-Consistency und ReAct

Der Begriff wird häufig mit benachbarten Reasoning-Techniken vermischt. Die relevanten Trennlinien:

Chain-of-Thought ([Wei et al. 2022](https://arxiv.org/abs/2201.11903)) bringt ein Modell dazu, Zwischenschritte auszuschreiben, bleibt aber strikt linear. Tree of Thoughts ([Yao et al. 2023](https://arxiv.org/abs/2305.10601)) erlaubt Verzweigung, Rückverfolgung und Bewertung von Pfaden, kennt aber kein Zusammenführen. Self-Consistency (Wang et al. 2022) sampelt viele CoT-Pfade parallel und wählt die Mehrheitsantwort; die Aggregation passiert außerhalb des Reasoning-Prozesses. GoT hebt Aggregation, Verfeinerung und Bewertung auf die Ebene expliziter Graph-Operationen und lässt sich damit als Obermenge dieser Muster lesen.

ReAct ([Yao et al. 2022](https://arxiv.org/abs/2210.03629)) beantwortet eine andere Frage: was innerhalb eines einzelnen Reasoning-Schritts geschieht. GoT und ReAct schließen sich nicht aus, ein GoT-Knoten kann intern ein ReAct-Schritt sein.

Beispiel: Sortieren mit Aggregations-Knoten

Ein klassisches Beispiel aus dem Paper zeigt den Vorteil der Graph-Topologie. Aufgabe: Ein Sprachmodell soll eine Liste mit 64 Zahlen sortieren. Ohne Reasoning-Struktur produziert das Modell auf ganzen Listen häufig fehlerhafte Ergebnisse, weil die Kontext-Verarbeitung bei längeren Sequenzen leidet.

Die GoT-Lösung teilt die Aufgabe in Chunks. Der Kontroller erzeugt zunächst vier Kind-Knoten, die je 16 Zahlen sortieren (Generate-Schritt). Danach führt ein Aggregate-Schritt paarweise die sortierten Teil-Listen per Merge zusammen, bis eine einzelne sortierte Liste entsteht. Der Merge-Schritt ist die charakteristische Operation, die einen Baum nicht abbilden kann: der neue Knoten hat zwei Elternteile. Optional wird jede Zwischen-Liste durch einen Refine-Schritt geprüft und gegebenenfalls korrigiert. Die Autoren berichten für diese und ähnliche Aufgaben (unter anderem Set-Intersection über mehrere Quellen) höhere Ergebnisqualität und niedrigere Token-Kosten pro korrektem Ergebnis als bei Tree of Thoughts.

Architektonisch ist GoT ein Orchestrator-Pattern oberhalb der LLM-API. Das Modell selbst kennt den Graph nicht, es sieht pro Knoten nur einen Prompt. Der Graph-Kontroller lebt außerhalb, typischerweise in einem Agent-Framework oder in der Referenz-Bibliothek der ETH-Autoren. Die Kosten pro Anfrage sind entsprechend höher als bei Chain-of-Thought, weil jeder Knoten einen Modellaufruf auslöst und Aggregations-Knoten längere Prompts erzeugen.