Direct Preference Optimization

Direct Preference Optimization (DPO) ist ein Trainingsverfahren für Sprachmodelle (die KI hinter Chatbots wie ChatGPT), das dem Modell beibringt, welche Antworten Menschen bevorzugen. Das Modell lernt aus Antwort-Paaren: zu jeder Frage bekommt es eine bevorzugte und eine abgelehnte Antwort und passt sich so an, dass die bevorzugte Variante wahrscheinlicher wird. DPO ersetzt das ältere, aufwendigere Verfahren RLHF (Reinforcement Learning from Human Feedback) durch einen einzigen, einfacheren Trainingsschritt.

Was ist Direct Preference Optimization?

Direct Preference Optimization richtet ein bereits vortrainiertes Sprachmodell an menschlichen Präferenzen aus. Als Trainingsdaten dienen sogenannte Präferenz-Tripel: Jedes Tripel besteht aus einer Frage (Prompt), einer bevorzugten Antwort (chosen) und einer abgelehnten Antwort (rejected). Das Modell wird so angepasst, dass die bevorzugte Antwort in Zukunft wahrscheinlicher erzeugt wird als die abgelehnte. Technisch wird dafür für jedes Antwort-Paar verglichen, wie wahrscheinlich das Modell die beiden Antworten hält, und die Gewichte werden zugunsten der bevorzugten Variante verschoben, gemessen an einem eingefrorenen Referenzmodell (einer unveränderten Kopie des Ausgangsmodells, die als Vergleichsanker dient).

Ein Beta-Parameter steuert, wie stark sich das trainierte Modell vom Referenzmodell entfernen darf. Niedrige Beta-Werte erlauben stärkere Präferenz-Anpassungen, hohe Werte halten das Modell näher am Ausgangspunkt und reduzieren das Risiko, dass allgemeine Fähigkeiten verloren gehen. Als Referenzmodell dient in der Regel das SFT-Modell aus dem vorangehenden Instruction-Tuning-Schritt.

Der Begriff existiert, weil das klassische RLHF-Setup (Reinforcement Learning from Human Feedback) aus zwei aufeinanderfolgenden Trainingsphasen besteht: Erst wird ein separates Reward-Modell auf den Präferenz-Daten trainiert, dann optimiert ein Reinforcement-Learning-Algorithmus wie [PPO](https://arxiv.org/abs/1707.06347) das Sprachmodell gegen dieses Reward-Modell. Diese Pipeline ist rechenintensiv, empfindlich gegenüber Hyperparametern und schwer zu stabilisieren. [Rafailov et al. 2023](https://arxiv.org/abs/2305.18290) zeigten, dass sich das RLHF-Optimalitätsziel analytisch in einen geschlossenen Klassifikations-Loss umformen lässt. Das Ergebnis: ein Trainings-Setup, das mit denselben Präferenz-Daten arbeitet wie RLHF, aber weder ein separates Reward-Modell noch einen RL-Optimierer braucht.

DPO ist ein Offline-Verfahren: Der Präferenz-Datensatz liegt vor Trainingsbeginn vollständig vor, es findet kein Rollout-Sampling während des Trainings statt wie bei PPO. Praktisch relevant wurde die Methode 2023 mit [Zephyr-7B](https://arxiv.org/abs/2310.16944) von HuggingFace als eines der ersten öffentlichen DPO-alignierten Modelle; heute ist DPO Teil der Alignment-Pipeline von Llama 3, mehreren Mistral-Varianten und weiteren offenen Chat-Modellen.

Abgrenzung zu RLHF, SFT und Constitutional AI

Direct Preference Optimization wird häufig mit anderen Trainingsphasen der LLM-Alignment-Pipeline verwechselt. Die relevanten Trennlinien:

Der Unterschied zu RLHF liegt allein in der Optimierungsmethode. Beide Verfahren nutzen denselben Datentyp (Präferenzpaare aus menschlichem Feedback), aber RLHF baut daraus zuerst ein Reward-Modell und optimiert das Sprachmodell danach per PPO. DPO überspringt dieses Zwischenmodell und schreibt die Präferenzen direkt in das Sprachmodell. Empirisch erreicht DPO bei kleineren und mittleren Modellen vergleichbare oder bessere Ergebnisse als RLHF-PPO bei deutlich einfacherem Setup; bei sehr großen Modellen bleibt der Vergleich Gegenstand laufender Untersuchungen.

Supervised Fine-Tuning ist eine frühere Stufe derselben Trainingskette. SFT lernt aus Beispielen, wie eine gute Antwort aussieht (eine Zielantwort pro Prompt), und liefert das grundlegende Instruction-Following. DPO setzt darauf auf und lernt, unter mehreren möglichen Antworten die bevorzugte zu wählen. Ein Modell ohne SFT-Vorbereitung ist für DPO ungeeignet, weil ihm die Grundfähigkeit zur Instruktionsbefolgung fehlt.

[Constitutional AI](https://arxiv.org/abs/2212.08073) (Bai et al. 2022) steht orthogonal zu DPO: Es beschreibt, wie Präferenz-Signale erzeugt werden (KI-generierte Kritik anhand eines Regelkatalogs), nicht wie das Modell daraus lernt. Die entstehenden Präferenzpaare lassen sich anschließend per RLHF oder per DPO in das Modell überführen. Verwandte Ableitungen wie IPO, KTO und ORPO variieren den Loss oder das Datenformat, gehören aber zur selben Familie direkter Präferenz-Optimierungsverfahren.

Beispiel: Chat-Modell-Alignment nach dem SFT-Schritt

Ein typischer DPO-Lauf beginnt mit einem SFT-Modell, das Instruktionen bereits solide befolgt, aber in Ton, Hilfsbereitschaft oder Sicherheitsverhalten noch nicht auf die gewünschten Präferenzen ausgerichtet ist. Als Trainingsdatensatz dienen 20.000 bis 100.000 Präferenzpaare, entweder von menschlichen Annotatoren oder aus einer Constitutional-AI-Pipeline. Jedes Paar enthält zwei Antworten auf denselben Prompt mit Kennzeichnung der bevorzugten Wahl.

Das SFT-Modell dient sowohl als initiale Gewichtung des trainierten Modells als auch als eingefrorenes Referenzmodell. Das DPO-Objective berechnet für jedes Paar die Log-Wahrscheinlichkeiten der chosen- und rejected-Antworten unter beiden Modellen und aktualisiert die Gewichte so, dass die Differenz zugunsten der bevorzugten Antwort wächst. Ein Beta-Wert zwischen 0.1 und 0.5 hält die Aktualisierungen konservativ genug, damit allgemeine Fähigkeiten erhalten bleiben.

Architektonisch positioniert sich DPO in der LLM-Trainingskette an derselben Stelle wie RLHF-PPO: nach dem SFT/Instruction-Tuning und vor der Modellauslieferung. In produktiven Alignment-Pipelines wie bei Llama 3 wird DPO oft mit Rejection Sampling und mehreren Trainingsrunden kombiniert. Auf Databricks gehört der Betrieb solcher Pipelines in den Bereich Mosaic AI Training und Model Serving: Präferenz-Datensätze liegen im Lakehouse, das Training läuft in verwalteten GPU-Umgebungen, die alignierten Modelle werden über Model Serving bereitgestellt.