RLHF

RLHF (Reinforcement Learning from Human Feedback, deutsch: bestärkendes Lernen aus menschlichem Feedback) ist ein Trainingsverfahren, mit dem ein Sprachmodell (KI-System, das Texte erzeugt) an menschliche Vorlieben angepasst wird. Menschen bewerten dazu mehrere Antworten des Modells und bringen sie in eine Rangfolge (welche Antwort ist besser, welche schlechter). Das Modell lernt anschließend, bevorzugte Antworten häufiger zu erzeugen. Das Verfahren läuft in drei Stufen: Grundtraining mit Beispielantworten, Aufbau eines Bewertungsmodells aus den menschlichen Rangfolgen und abschließende Feinjustierung des Sprachmodells gegen dieses Bewertungsmodell.

Was ist RLHF?

RLHF ist die erste ausgereifte Methode, mit der ein Sprachmodell nicht nur inhaltlich korrekt, sondern auch hilfsbereit, sicher und im Ton passend antworten lernt. Bekannt wurde das Verfahren durch das [InstructGPT-Paper](https://arxiv.org/abs/2203.02155) (Ouyang et al. 2022): OpenAI zeigte damit, wie sich ein vortrainiertes Sprachmodell mit menschlichen Bewertungen so nachjustieren lässt, dass es Anweisungen zuverlässig befolgt. Dieser Schritt, auch Alignment (Ausrichtung des Modells an menschlichen Erwartungen) genannt, ist die technische Grundlage von ChatGPT und vergleichbaren Assistenz-Modellen. RLHF gehört zur Familie des [Preference Tunings](/insights/glossar/preference-tuning/), also der Anpassung von Modellen anhand von Vorlieben statt festgelegter Idealantworten.

Die erste Stufe ist Supervised Fine-Tuning auf einem Datensatz menschlich verfasster Idealantworten. Das Basismodell lernt hier, Instruktionen grundsätzlich zuverlässig zu befolgen. Diese Stufe entspricht dem regulären SFT und liefert das Ausgangs-Policy-Modell für die weiteren Schritte. Ohne diesen Schritt fehlt dem Reinforcement-Learning-Verfahren später eine hinreichend gute Startpolicy, um brauchbare Trajektorien zu erzeugen.

Die zweite Stufe trainiert ein separates Reward-Modell aus Präferenzdaten. Menschliche Labeler vergleichen für denselben Prompt mehrere Antworten des SFT-Modells und ordnen sie in eine Rangfolge. Aus diesen Paaren wird ein zweites Modell trainiert, typischerweise eine LLM-Instanz mit einem skalaren Kopf, das eine Prompt-Antwort-Kombination in einen Präferenz-Score übersetzt. Das Reward-Modell approximiert damit ein numerisches Signal für „bevorzugt gegenüber", das ein Reinforcement-Learning-Algorithmus als Belohnung nutzen kann.

Die dritte Stufe optimiert das Sprachmodell gegen dieses Reward-Modell. In der ursprünglichen Umsetzung kommt [Proximal Policy Optimization](https://arxiv.org/abs/1707.06347) (PPO, Schulman et al. 2017) zum Einsatz. Der Optimierer aktualisiert die Policy so, dass sie Antworten mit höheren Reward-Scores erzeugt, hält sie zugleich durch eine KL-Divergenz-Strafe gegen das SFT-Modell in dessen Nähe und verhindert Reward-Hacking und Wegdriften. Ergebnis ist ein aligniertes Modell, das feinere Präferenz-Dimensionen wie Hilfsbereitschaft, Ton, Sicherheitsverhalten oder Ehrlichkeit besser bedient als ein reines SFT-Modell.

Das Verfahren existiert, weil der Cross-Entropy-Loss auf einer einzelnen Zielantwort keine feinen Unterschiede zwischen mehreren plausibel korrekten Antworten ausdrücken kann. Rangfolgen aus menschlichen Vergleichen sind dagegen ein reichhaltiges Signal für genau diese Dimensionen und lassen sich mit deutlich geringerem Aufwand einsammeln als vollständig ausformulierte Idealantworten für alle Randfälle.

Abgrenzung zu DPO, RLAIF und Supervised Fine-Tuning

RLHF wird häufig mit dem Sammelbegriff [Preference Tuning](/insights/glossar/preference-tuning/) gleichgesetzt oder mit benachbarten Verfahren verwechselt. Die relevanten Trennlinien:

[Direct Preference Optimization](/insights/glossar/dpo/) (DPO, Rafailov et al. 2023) formuliert dasselbe Optimierungsziel wie RLHF analytisch in einen direkten Klassifikations-Loss um. Das separate Reward-Modell und der RL-Optimierer entfallen; das Sprachmodell wird direkt auf den Präferenzpaaren trainiert. Trainings-Setup und Infrastruktur sind deutlich einfacher, das Ergebnis ist bei mittleren Modellgrößen vergleichbar oder besser. Wer heute Preference Tuning auf offene Modelle anwendet, greift meist zu DPO oder dessen Varianten.

RLAIF (Reinforcement Learning from AI Feedback) ersetzt die menschlichen Labeler in Stufe 2 durch ein starkes KI-Modell, das die Präferenz-Rangfolgen erzeugt. Reward-Modell-Training und PPO-Lauf bleiben unverändert. Ziel ist die Skalierbarkeit der Labeling-Phase, die bei rein menschlicher Erhebung teuer und langsam wird. Constitutional AI (Bai et al. 2022, Anthropic) ist eine verwandte Variante, bei der das KI-Feedback anhand einer expliziten Regelsatz-„Verfassung" generiert wird.

[Supervised Fine-Tuning](/insights/glossar/fine-tuning/) entspricht nur der ersten Stufe von RLHF. Es lernt aus Prompt-Response-Paaren mit einer Zielantwort und einem Cross-Entropy-Loss, kennt kein Präferenzsignal und keine Ablehnung schlechterer Alternativen. SFT liefert die Basisfähigkeit zum Anweisungsbefolgen, RLHF setzt darauf auf und schleift die Präferenz-Dimensionen ein. Ein Modell nach reinem SFT ist typischerweise weniger hilfreich, weniger sicher und weniger konsistent als eines nach SFT plus RLHF.

Beispiel: InstructGPT als kanonische Umsetzung

Das InstructGPT-Projekt (Ouyang et al. 2022) ist das kanonische RLHF-Beispiel und die Blaupause für die spätere Alignment-Praxis. OpenAI trainierte GPT-3 zunächst mit SFT auf rund 13.000 menschlich verfassten Demonstrationen. Anschließend sammelten menschliche Labeler zu rund 33.000 Prompts jeweils vier bis neun Antworten des SFT-Modells und ordneten sie in eine Rangfolge; auf diesen Präferenzpaaren wurde das Reward-Modell trainiert. In der dritten Stufe optimierte PPO das Sprachmodell auf rund 31.000 Prompts gegen das Reward-Modell, mit KL-Strafe gegen die SFT-Policy. Ergebnis war eine Modell-Familie, die Instruktionen deutlich zuverlässiger befolgte und die technische Grundlage für ChatGPT bildete.

Nach InstructGPT wurde RLHF in ähnlicher Form für Claude (Anthropic), Gemini (Google) und die Chat-Varianten von Llama 2 (Meta) genutzt. Ab 2024 verschieben viele offene Modelle den Preference-Tuning-Schritt auf DPO oder Mischformen; Llama 3 Instruct und Zephyr sind bekannte Beispiele dieser Verschiebung. Klassisches RLHF mit Reward-Modell und PPO bleibt relevant für sehr große proprietäre Modelle und Anbieter mit stabiler RL-Infrastruktur, die den zusätzlichen Aufwand gegenüber DPO durch bessere Skalierung auf sehr großen Modellgrößen rechtfertigen können.

Architektonisch positioniert sich RLHF zwischen dem SFT-Schritt und der Auslieferung des Modells. Auf einer Data-Plattform mit integrierter KI-Schicht wie [Mosaic AI Training auf Databricks](/insights/databricks/artificial-intelligence/mosaic-ai-training/) liegen Demonstrations- und Präferenzdatensätze im Lakehouse, das Reward-Modell wird als eigenständiges Modell trainiert und in einer Model Registry geloggt, der PPO-Lauf verbraucht GPU-Cluster in einer verwalteten Trainingsumgebung, und das alignierte Sprachmodell landet über Model Serving in der Anwendung.