Self-Refine: Definition, Abgrenzung, Reasoning-Loop

Self-Refine ist ein Schleifen-Verfahren, mit dem ein großes Sprachmodell (Large Language Model, LLM) seine eigene Antwort verbessert. Dasselbe Modell schlüpft nacheinander in drei Rollen: Generator (schreibt eine erste Antwort), Critic (bewertet diese Antwort und schreibt eine Kritik) und Refiner (überarbeitet die Antwort anhand der Kritik). Die Schleife läuft mehrere Runden, bis die Antwort stabil bleibt oder ein festgelegtes Rundenlimit erreicht ist. Vorgestellt wurde das Verfahren von [Madaan et al. 2023](https://arxiv.org/abs/2303.17651) im Paper „Self-Refine: Iterative Refinement with Self-Feedback" (NeurIPS 2023).

Was ist Self-Refine?

Self-Refine ist eine Anweisungs-Strategie (ein sogenanntes Prompting-Pattern), die die Antwort eines Sprachmodells in drei Rollen aufteilt, wobei alle drei dasselbe Modell besetzen. Der Generator erzeugt eine erste Antwort auf die Aufgabe. Der Critic bewertet diese Antwort gegen vorher festgelegte Kriterien und schreibt eine strukturierte Kritik. Der Refiner erzeugt eine überarbeitete Antwort auf Basis dieser Kritik. Die Schleife wiederholt sich, bis eines von drei Stop-Signalen greift: eine leere Kritik (nichts mehr zu verbessern), ein bestandener externer Test oder das harte Rundenlimit.

Das Pattern wurde im März 2023 von Aman Madaan und Kollegen (CMU, Allen Institute, University of Washington, NVIDIA, UC San Diego, Google Research) veröffentlicht und auf der NeurIPS 2023 vorgestellt. Das Originalpaper zeigt Verbesserungen auf sieben Aufgaben quer durch Code-Optimierung, Akronym-Generierung, Sentiment-Reversal, Dialog und Constrained Generation mit GPT-3.5 und GPT-4. Besonders deutlich fällt der Hebel laut Paper bei Acronym Generation (von 16,6% auf 44,8%) und Sentiment Reversal aus. Ein Training ist nicht nötig; das Pattern lebt komplett auf der Prompt-Ebene.

Der Wirk-Bereich ist an eine Voraussetzung gebunden: die Aufgabe muss ein erkennbares Verbesserungs-Signal tragen. Ein Test-Suite-Lauf ist das härteste Signal, weil er binär ist. Ein Linter liefert ein ähnliches Signal für Code-Stil. Ein Stil-Kriterium für Texte (Tonalität, Länge, Zielgruppen-Ansprache) bleibt bewertbar. Ohne solches Signal bewertet das Modell seine eigene Antwort intuitiv und verbessert oft nur die Argumentation, während das Argument gleich falsch bleibt. Bei Math-Aufgaben ohne Verifier oder Faktenfragen ohne Quelle kippt der Loop nach wenigen Runden in Verschlimmbesserung.

Ab 2024 verschiebt sich der Schwerpunkt von der Prompt-Ebene in die Trainings-Ebene. Reasoning-Modelle wie OpenAI o1/o3, DeepSeek R1, Claude Extended Thinking und Gemini Thinking internalisieren die Reflektions-Mechanik durch Reinforcement Learning im Modell selbst und erzeugen den überarbeitenden Trace ohne expliziten Loop. Self-Refine als Prompt-Pattern bleibt daneben relevant für Standard-LLMs und für Anwendungen mit hartem externen Verifier (Test-Suite, Linter, Coding-Agent).

Abgrenzung zu Chain-of-Thought, Self-Consistency, Reflexion, CRITIC und LLM-as-a-Judge

Self-Refine wird häufig mit angrenzenden Reasoning- und Selbstkorrektur-Techniken vermischt. Die relevanten Trennlinien:

Begriff	Mechanik	Verhältnis zu Self-Refine
Chain-of-Thought	Ein Durchgang mit ausformulierten Zwischenschritten	Vorstufe; Self-Refine baut sequentielle Überarbeitungs-Runden darum
Self-Consistency	Mehrere CoT-Pfade parallel, Mehrheits-Voting	Parallel-Ansatz ohne Selbstkritik; Self-Refine ist sequentiell mit Kritik
Reflexion	RL-basiert, mit episodischem Speicher über Läufe	Verwandt; hält Zustand über Runs, Self-Refine startet jeden Run leer
CRITIC	Externe Tools (Suche, Rechner) für die Kritik	Ersetzt Selbst-Bewertung durch Tool-basierte Prüfung
LLM-as-a-Judge	Zweites Modell bewertet die Antwort	Fremde Bewertung; Self-Refine ist Selbst-Bewertung durch dasselbe Modell
Reasoning Models	Reflektions-Muster per RL im Modell verankert	Trainings-Antwort auf denselben Bedarf; kein expliziter Prompt-Loop

[Chain-of-Thought Prompting](/insights/glossar/chain-of-thought/) erzeugt in einem Durchgang eine Kette aus Zwischenschritten und dann die finale Antwort. Self-Refine ergänzt diese Kette um mindestens eine weitere Runde: Kritik und Überarbeitung. Die erste Runde eines Self-Refine-Loops ist häufig selbst ein Chain-of-Thought-Aufruf; der Unterschied entsteht in Runde zwei.

Self-Consistency ([Wang et al. 2022](https://arxiv.org/abs/2203.11171)) läuft parallel. Mehrere Chain-of-Thought-Pfade werden unabhängig gesampelt und die häufigste finale Antwort per Mehrheits-Voting gewählt. Der Pfad enthält keinen Kritik-Schritt und keine Überarbeitung. Self-Consistency reduziert Varianz durch Sampling; Self-Refine reduziert Fehler durch Kritik.

Reflexion ([Shinn et al. 2023](https://arxiv.org/abs/2303.11366)) ist die verwandteste Technik. Beide Pattern nutzen Selbstkritik und Überarbeitung, aber Reflexion arbeitet über Episoden hinweg und speichert das Feedback in einem episodischen Speicher für spätere Läufe. Self-Refine hält keinen solchen Zustand; jeder neue Run startet leer. Reflexion setzt zudem meist ein Reinforcement-Learning-Rahmen voraus, Self-Refine nicht.

CRITIC ([Gou et al. 2023](https://arxiv.org/abs/2305.11738)) ersetzt den Selbst-Kritik-Schritt durch externe Tools: Suchmaschine, Code-Executor, Rechner. Die Bewertung stammt damit aus der Werkzeug-Rückgabe statt aus dem Modell selbst. CRITIC ist ein Hybrid aus Selbstkorrektur und Tool-Use, während Self-Refine rein selbst-referentiell arbeitet.

[LLM-as-a-Judge](/insights/agentic-ai/llm-as-a-judge/) trennt Generator und Bewerter in zwei unabhängige Modell-Aufrufe. Ein zweites, oft anderes Modell bewertet die Antwort. Das umgeht den zentralen Schwachpunkt von Self-Refine: das gleiche Modell erkennt seine eigenen Reasoning-Fehler oft nicht. Der Preis sind zwei Modell-Aufrufe und höhere Kosten pro Iteration.

[Reasoning Models](/insights/glossar/reasoning-models/) wie OpenAI o1, DeepSeek R1 und Claude Extended Thinking internalisieren das Reflektions-Muster durch RL-Training. Sie erzeugen intern einen längeren, oft revidierenden Trace, bevor die Antwort ausgegeben wird. Aus Anwender-Sicht entfällt der explizite Refine-Loop; die Kosten für die Iteration stecken in den Thinking-Tokens des Modells. Self-Refine bleibt für Standard-LLMs und für Loops mit externem Verifier relevant.

Beispiel: Coding-Agent mit Test-Suite als Verifier

Ein Data-Team baut einen Coding-Agenten, der Python-Funktionen aus einer natürlichsprachigen Beschreibung generiert und gegen eine mitgelieferte Test-Suite prüft.

Der Generator erhält die Aufgabenbeschreibung und schreibt eine erste Version der Funktion. Der Refiner-Loop startet: die Tests werden ausgeführt, ein fehlgeschlagener Test liefert die Fehlermeldung als strukturiertes Kritik-Signal. Der Refiner liest die Kritik und schreibt eine überarbeitete Funktion. Runde zwei bestand alle Tests bis auf eine Edge-Case-Assertion, Runde drei bestand alle Tests. Der Loop stoppt bei drei Runden oder bei grüner Test-Suite, was zuerst eintritt.

Der externe Verifier ist der Grund, warum der Loop hier trägt. Die Test-Suite bewertet objektiv, das Modell muss nicht selbst entscheiden, ob die Änderung eine Verbesserung war. Fehlt der Verifier und die Kritik kommt nur aus der Selbst-Bewertung des Modells, kippen viele Loops nach der dritten Runde: das Modell schreibt eine Stelle um, die vorher funktionierte, weil ihm eine „Verbesserung" eingefallen ist. Die zweite und dritte Iteration werden dann schlechter als die erste.

Ähnlich funktioniert Self-Refine bei Text-Generierung mit klarem Stil-Kriterium (Ton, Länge, Format), bei Plan- oder Outline-Generierung mit Vollständigkeits-Check und bei Constrained Generation (Reim, Silbenzahl, verbotene Wörter). Für Math-Aufgaben ohne Rechner-Verifier und für Faktenfragen ohne Quellen-Grounding gilt das Pattern als riskant.