Self-Consistency

Self-Consistency ist eine Technik, um Sprachmodelle bei Denkaufgaben zuverlässiger zu machen. Statt das Modell nur einmal rechnen zu lassen, wird dieselbe Frage mehrfach parallel gestellt (jeder Lauf mit leicht variierter Zufallssteuerung, sogenannter Temperature). Aus den Ergebnissen gewinnt die Mehrheits-Antwort, die Antwort, die am häufigsten vorkommt. Die Technik wurde 2022 von Wang et al. bei Google Research vorgestellt und verbessert die Trefferquote bei Mathematik-, Logik- und Alltagswissens-Aufgaben deutlich gegenüber einer einzelnen Chain of Thought (Denkkette, bei der das Modell seinen Rechenweg Schritt für Schritt ausschreibt).

Was ist Self-Consistency?

Self-Consistency ersetzt den einzelnen, festgelegten Rechenweg des Modells durch eine Stichprobe. Statt einer Antwort werden n unabhängige Läufe desselben Chain-of-Thought-Prompts (also der Anweisung, laut mitzudenken) erzeugt, meist mit Temperature (dem Zufallsregler beim Textgenerieren) zwischen 0.5 und 0.7 und typischen Werten für n von 5 bis 40. Jeder Lauf produziert seinen eigenen Denkpfad und seine eigene Endantwort. Die Endantworten werden gezählt, die häufigste gilt als finale Ausgabe. Der Denkpfad selbst geht in die Auszählung nicht ein.

Der Begriff geht auf [Wang et al. 2022](https://arxiv.org/abs/2203.11171) zurück (Google Brain, ICLR 2023). Die Kernbeobachtung ist einfach: Bei komplexen Reasoning-Aufgaben existieren oft mehrere korrekte Denkpfade, die zur selben Antwort führen. Fehlerhafte Pfade dagegen streuen. Der Mehrheitsentscheid nutzt diese Asymmetrie als Signal-Extraktor, ohne dass ein Reward-Modell nötig ist. Die Autoren zeigten Verbesserungen auf GSM8K, SVAMP, AQuA, ARC und StrategyQA in Größenordnungen von 10 bis 20 Prozentpunkten gegenüber Standard-Chain-of-Thought.

Der Effekt skaliert mit der Modellgröße und mit n. Bei kleinen Sprachmodellen bleibt die Wirkung schwach, weil auch die individuellen Denkpfade zu schwach sind. Deutlich wird der Zugewinn bei Modellen ab etwa 100 Milliarden Parametern, konsistent mit der Emergenz von Chain-of-Thought selbst. Höhere n-Werte verbessern die Genauigkeit weiter, mit abnehmendem Grenznutzen ab n = 20 bis 40. Der Preis: n-fache Inferenzkosten pro Anfrage und n-fache Latenz.

Ab 2024 taucht das Muster auch in Reasoning Models auf. OpenAI o1, DeepSeek R1 und verwandte Systeme führen im Reasoning-Trace teilweise interne Selbst-Sampling-Schritte aus, die konzeptionell an Self-Consistency erinnern. Für Standard-Sprachmodelle bleibt Self-Consistency dagegen eine explizite Anwendungs-Technik, die außerhalb des Modells über Parallel-Aufrufe umgesetzt wird.

Abgrenzung zu Chain-of-Thought, Self-Refine, Tree-of-Thoughts, Ensembling und Best-of-N

Self-Consistency wird häufig mit angrenzenden Reasoning- und Sampling-Techniken vermischt. Die relevanten Trennlinien:

[Chain-of-Thought](/insights/glossar/chain-of-thought/) erzeugt einen einzelnen Reasoning-Pfad, meist mit Temperature nahe null (greedy). Self-Consistency ist die direkte Erweiterung darüber: dasselbe Chain-of-Thought-Prompt wird n Mal mit höherer Temperature aufgerufen. Ohne Chain-of-Thought als Basis funktioniert die Technik nicht; die Reasoning-Ketten liefern die diversen Pfade, deren Konsens gezählt wird.

Self-Refine ([Madaan et al. 2023](https://arxiv.org/abs/2303.17651)) verfolgt einen anderen Weg: Ein Reasoning-Pfad wird sequenziell durch Selbstkritik überarbeitet, bis das Modell selbst kein Verbesserungspotenzial mehr sieht. Self-Consistency dagegen sampelt parallel und aggregiert. Beide adressieren die Fehleranfälligkeit einer einzelnen Kette, mit gegensätzlicher Mechanik: iterative Verbesserung eines Pfades versus statistische Aggregation vieler Pfade.

Tree-of-Thoughts erweitert die Suche auf einen Baum verzweigter Reasoning-Pfade mit expliziter Bewertung und Backtracking. Self-Consistency dagegen behandelt die n Pfade als unabhängige Stichproben, ohne Verzweigungslogik und ohne Bewertung des Zwischenzustands. Tree-of-Thoughts ist rechenaufwendiger und braucht eine Bewertungsheuristik, Self-Consistency braucht nur einen Zählschritt am Ende.

Klassisches Ensembling kombiniert mehrere unterschiedliche Modelle zu einer Vorhersage. Self-Consistency nutzt ein einziges Modell und variiert nur den Sampling-Pfad über Temperature und Zufalls-Seed. Best-of-N Sampling ist konzeptionell nah, ersetzt aber den Mehrheitsentscheid durch die Auswahl über ein separates Reward-Modell. Self-Consistency braucht kein Reward-Modell, funktioniert dafür nur bei Aufgaben mit zählbarer diskreter Endantwort.

Beispiel: GSM8K-Textaufgabe und Text-to-SQL

Der kanonische Fall aus dem Wang-Paper ist eine GSM8K-Mathematikaufgabe. Ein Modell wird n = 20 Mal mit demselben Chain-of-Thought-Prompt und Temperature 0.7 aufgerufen. Es entstehen 20 unterschiedliche Reasoning-Pfade und 20 numerische Endantworten. Kommt beispielsweise die Zahl 42 in 14 der 20 Läufe vor, 18 in 4 Läufen und 24 in 2 Läufen, gilt 42 als finale Antwort. Der Mehrheitsentscheid glättet die Streuung der fehlerhaften Rechenwege heraus, weil sie in verschiedene Richtungen streuen, während korrekte Ableitungen zur selben Zahl konvergieren.

Im Betrieb zeigt sich der gleiche Mechanismus bei einem Text-to-SQL-Assistenten mit mehrdeutigen Fachfragen. Eine Frage wie „Wie viele aktive Bestandskunden gab es im letzten Quartal" ist ohne festes Datenmodell mehrdeutig: aktiv kann Login-Aktivität, Bestellaktivität oder Vertragsstatus meinen. Der Assistent wird fünfmal parallel aufgerufen. Jeder Lauf produziert sein eigenes SQL. Kommt eine Formulierung in drei von fünf Läufen vor, gilt sie als Mehrheits-Antwort. Gleichzeitig macht die Streuung zwischen den fünf Formulierungen die semantische Mehrdeutigkeit sichtbar und liefert ein Signal für die anschließende Prüfung durch einen Menschen. Der Kostenpunkt bleibt: fünffache Inferenzkosten und fünffache Latenz pro Anfrage.