Preference Tuning: RLHF, DPO und Varianten erklärt

Preference Tuning ist ein Trainingsschritt, bei dem ein Sprachmodell (die KI hinter Chatbots wie ChatGPT) lernt, welche Antworten Menschen besser finden. Grundlage sind Präferenzdaten: Vergleiche zwischen zwei oder mehr möglichen Antworten auf dieselbe Frage, mit einer Kennzeichnung, welche Antwort bevorzugt wird. Der Begriff bündelt mehrere konkrete Verfahren, darunter RLHF (Reinforcement Learning from Human Feedback), DPO (Direct Preference Optimization) und deren Varianten IPO, KTO und ORPO.

Was ist Preference Tuning?

Preference Tuning ist die Phase im Training moderner Sprachmodelle, in der die Ausrichtung an menschlichen Vorlieben (das sogenannte Alignment) geschieht. Zu diesem Zeitpunkt kann das Modell bereits Anweisungen befolgen; Preference Tuning schleift ein, welche Antworten Menschen im direkten Vergleich für besser halten. Der zugrunde liegende Datensatz enthält zu jeder Frage (dem Prompt) mindestens zwei mögliche Antworten mit einer Rangfolge: eine bevorzugte (chosen) und eine verworfene (rejected). Bei einigen Varianten wie KTO gibt es statt Paaren nur einfache Zustimmungs- oder Ablehnungssignale (Daumen hoch, Daumen runter) zu einzelnen Antworten. Das Modell wird so nachjustiert, dass es bevorzugte Antworten künftig wahrscheinlicher erzeugt.

In der LLM-Trainingskette sitzt Preference Tuning nach dem Supervised Fine-Tuning (SFT): Auf das Pretraining folgt die Instruction-getunte SFT-Stufe, die dem Modell zuverlässiges Anweisungsbefolgen beibringt; darauf setzt Preference Tuning auf und schleift Ton, Hilfsbereitschaft, Sicherheitsverhalten und andere Präferenz-Dimensionen ein. Der Begriff existiert als Familienbezeichnung, weil sich seit 2023 mehrere Verfahren etabliert haben, die sich im Loss-Design und in der Trainings-Mechanik unterscheiden, aber denselben Datentyp und dieselbe Zielsetzung teilen.

Die historisch erste Ausprägung ist [RLHF](https://arxiv.org/abs/2203.02155) (Reinforcement Learning from Human Feedback, Ouyang et al. 2022, InstructGPT). Hier wird zuerst ein separates Reward-Modell auf den Präferenz-Paaren trainiert, danach optimiert ein Reinforcement-Learning-Algorithmus wie PPO das Sprachmodell gegen dieses Reward-Signal. [DPO](/insights/glossar/dpo/) (Rafailov et al. 2023) formulierte dasselbe Optimierungsziel analytisch in einen direkten Klassifikations-Loss um und macht das separate Reward-Modell samt RL-Optimierer überflüssig. Weiterentwicklungen wie [IPO](https://arxiv.org/abs/2310.12036) (Azar et al. 2023), [KTO](https://arxiv.org/abs/2402.01306) (Ethayarajh et al. 2024) und [ORPO](https://arxiv.org/abs/2403.07691) (Hong et al. 2024) variieren den Loss oder die Trainings-Choreografie: IPO adressiert Overfitting bei DPO, KTO ersetzt Paare durch binäre Signale nach Kahneman-Tversky-Prospect-Theory, ORPO kombiniert SFT und Preference Tuning in einem einzigen Trainingslauf ohne Referenzmodell. Aktuelle offene Modelle wie Llama 3 Instruct, Zephyr und mehrere Mistral-Varianten nutzen Preference Tuning als festen Schritt ihrer Alignment-Pipeline.

Abgrenzung zu RLHF, SFT und Instruction Tuning

Preference Tuning wird häufig mit einzelnen Verfahren oder benachbarten Trainingsphasen gleichgesetzt. Die relevanten Trennlinien:

Begriff	Beziehung zu Preference Tuning	Datenformat
Preference Tuning	Oberbegriff über die gesamte Familie	Rangfolgen zwischen Antworten (Paare oder binär)
RLHF	Eine Instanz von Preference Tuning	Präferenzpaare, verarbeitet über Reward-Modell und PPO
DPO, IPO, KTO, ORPO	Weitere Instanzen ohne separates Reward-Modell	Präferenzpaare (KTO: binäre Signale)
SFT	Vorausgehende Stufe, keine Präferenzen	Prompt-Response-Paare mit einer Zielantwort
Instruction Tuning	Breitere Phase über SFT plus Preference Tuning	Instruktions-Response-Paare, optional Präferenzen

RLHF ist eine konkrete Umsetzung des Sammelbegriffs und wird gelegentlich fälschlich mit ihm gleichgesetzt. Wer den Begriff RLHF verwendet, meint typischerweise die zweistufige Pipeline aus Reward-Modell-Training und PPO-basierter Sprachmodell-Optimierung. DPO und seine Varianten teilen mit RLHF den Datentyp und das Ziel, verzichten aber auf das Zwischenmodell. Der Familienbegriff Preference Tuning umfasst beide Zweige.

[Supervised Fine-Tuning](/insights/glossar/fine-tuning/) unterscheidet sich im Datenformat und im Trainingssignal. SFT lernt aus Beispielen, wie eine gute Antwort aussieht, mit genau einer Zielantwort pro Prompt und einem Cross-Entropy-Loss auf dieser Antwort. Ein Rangfolgen-Signal oder eine explizite Ablehnung schlechterer Alternativen existiert nicht. SFT liefert die Basis-Fähigkeit zur Instruktionsbefolgung; Preference Tuning setzt darauf auf und schleift die feineren Präferenz-Dimensionen ein.

Instruction Tuning bezeichnet die gesamte Alignment-Phase nach dem Pretraining und umfasst als Ober-Prozess sowohl den SFT-Schritt auf Instruktionsdaten als auch das nachgelagerte Preference Tuning. Der Begriff wird im Sprachgebrauch teils synonym zu SFT auf Instruktionen verwendet, teils weiter als komplette Ausrichtungs-Kette gemeint. Preference Tuning ist im weiten Verständnis die zweite Hälfte dieser Kette.

Beispiel: Verfahrenswahl in der Alignment-Pipeline

Ein typisches Alignment-Setup für ein offenes 7B- bis 70B-Modell beginnt mit einem vortrainierten Base-Modell, führt einen SFT-Schritt auf einigen zehntausend Instruktions-Beispielen durch und schließt mit einem Preference-Tuning-Schritt auf 20.000 bis 100.000 Präferenzpaaren ab. Die Auswahl des konkreten Verfahrens hängt von Datenformat, Modellgröße und Infrastruktur ab.

DPO ist der aktuell verbreitetste Standard bei mittleren Modellgrößen: einfaches Trainings-Setup ohne RL-Infrastruktur und stabile Konvergenz. KTO wird gewählt, wenn statt sauberer Paare nur binäre Zustimmungs- oder Ablehnungssignale vorliegen (Daumen-hoch/Daumen-runter aus Produktivsystemen). ORPO integriert SFT und Preference Tuning in einen Trainingslauf und spart eine separate Referenzmodell-Instanz; das lohnt, wenn Compute knapp ist und ein einziger Durchlauf reicht. Klassisches RLHF mit Reward-Modell und PPO bleibt relevant für sehr große Modelle und Betreiber mit stabiler RL-Infrastruktur, wie sie proprietäre Anbieter für Llama-, GPT- und Claude-Varianten betreiben.

Architektonisch positioniert sich Preference Tuning zwischen Instruction Tuning und Modell-Auslieferung. Auf einer Data-Plattform mit integrierter KI-Schicht wie [Mosaic AI Training auf Databricks](/insights/databricks/artificial-intelligence/mosaic-ai-training/) liegen Präferenzdatensätze im Lakehouse, das Training läuft in verwalteten GPU-Umgebungen, das alignierte Modell wird über Model Serving bereitgestellt. Bei Llama 3 kombiniert die Alignment-Pipeline SFT, mehrere DPO-Runden und Rejection Sampling.