Reinforcement Learning: Definition, Verfahren, Beispiele

Reinforcement Learning (bestärkendes Lernen, kurz RL) ist ein Teilgebiet des maschinellen Lernens, bei dem ein Programm (der Agent) durch Ausprobieren lernt: Es führt in einer Umgebung Handlungen aus und bekommt für jede Handlung eine Rückmeldung in Form einer Zahl (Reward, also Belohnung oder Bestrafung). Aus diesen Rückmeldungen entwickelt der Agent eine Strategie (Policy), die die aufsummierte Belohnung über viele Schritte hinweg möglichst groß macht. Anders als bei klassischem Lernen mit vorgegebenen richtigen Antworten sagt niemand, was die korrekte Handlung ist. Der Agent muss sie über die Folgen seiner eigenen Entscheidungen herausfinden.

Was ist Reinforcement Learning?

Reinforcement Learning beschreibt Lernen als Kreislauf zwischen einem Agenten und einer Umgebung. In jedem Schritt sieht der Agent die aktuelle Situation (Zustand, State), wählt daraus eine Handlung (Action), bekommt eine numerische Rückmeldung (Reward) und gerät in einen neuen Zustand. Ziel ist eine Policy, also eine Zuordnung „welche Handlung passt zu welcher Situation", die die erwartete Gesamtbelohnung über die Zeit maximiert. Der mathematische Standardrahmen dafür ist der Markov Decision Process (MDP), definiert durch Zustandsraum, Aktionsraum, Übergangsdynamik und Reward-Funktion.

Neben der Policy spielen zwei weitere Größen eine zentrale Rolle: die Value Function schätzt, wie gut ein Zustand oder ein Zustands-Aktions-Paar langfristig ist, und die Reward-Funktion definiert, was der Agent lernen soll. Ein Kernproblem ist die Zuordnung von Reward zu den Aktionen, die ihn ausgelöst haben; dieses Credit Assignment Problem tritt besonders auf, wenn Belohnungen erst am Episoden-Ende kommen (Schach, Go, Empfehlungssitzung).

Verfahren zerfallen grob in drei Familien. Wertbasierte Verfahren lernen die Value Function und leiten daraus die Policy ab; dazu gehören [Q-Learning](https://link.springer.com/article/10.1007/BF00992698) und Deep Q-Networks (DQN, Mnih et al. 2015). Policy-basierte Verfahren optimieren die Policy direkt; typische Vertreter sind REINFORCE (Williams 1992) und [Proximal Policy Optimization](https://arxiv.org/abs/1707.06347) (PPO, Schulman et al. 2017). Actor-Critic-Verfahren kombinieren beides und trainieren parallel eine Policy (Actor) und eine Value Function (Critic); Beispiele sind A2C/A3C und Soft Actor-Critic (SAC).

Der Begriff existiert als eigene Kategorie, weil das Trainingssignal grundsätzlich anders funktioniert als bei überwachten oder unüberwachten Verfahren: RL lernt aus den Konsequenzen eigener Aktionen. Aktuelle Bedeutung erhält RL zusätzlich durch die Ausrichtung großer Sprachmodelle: RLHF und RLAIF verwenden einen RL-Optimierer (meist PPO) gegen ein aus Präferenzdaten trainiertes Reward-Modell.

Abgrenzung zu Supervised, Unsupervised und Imitation Learning

Reinforcement Learning wird häufig mit benachbarten ML-Paradigmen verwechselt oder mit RLHF gleichgesetzt. Die Trennlinien:

Paradigma	Trainingssignal	Datenformat
Reinforcement Learning	Reward aus Umgebungs-Feedback	Zustands-Aktions-Reward-Trajektorien
Supervised Learning	gelabelte Zielantwort	(Input, Label)-Paare
Unsupervised Learning	Strukturkriterium (Cluster, Dichte, Rekonstruktion)	Inputs ohne Labels
Imitation Learning	Kopie einer Demonstration	(Zustand, Experten-Aktion)-Paare
RLHF	RL-Optimierung gegen ein Präferenz-Reward-Modell	Präferenzpaare zwischen Modell-Antworten

Supervised Learning bekommt für jeden Input eine korrekte Zielantwort und minimiert einen Fehler gegen dieses Label. RL erhält stattdessen ein Reward-Signal als Konsequenz der eigenen Aktion; das Modell muss die Handlung selbst finden, die diesen Reward erzeugt. Unsupervised Learning entdeckt Struktur in Daten (Cluster, latente Repräsentationen) ohne Ziel- oder Reward-Signal.

Imitation Learning liegt zwischen den beiden: es lernt per Behavior Cloning aus aufgezeichneten Experten-Demonstrationen, welches Verhalten in welchem Zustand nachzumachen ist. Es benötigt Demonstrationen und kommt ohne Reward aus; RL kehrt diese Voraussetzung um und benötigt einen Reward, aber keine Demonstrationen. Inverse Reinforcement Learning kombiniert beides und rekonstruiert aus Demonstrationen die zugrunde liegende Reward-Funktion.

[RLHF](/insights/glossar/preference-tuning/) ist eine konkrete Anwendung von RL im LLM-Training und wird umgangssprachlich oft synonym zu RL verwendet. Der Unterschied: RL ist der Oberbegriff für alle Verfahren, die eine Policy über Reward-Signale lernen. RLHF ist die Instanz, bei der das Reward-Signal aus einem separaten, auf menschlichen Präferenzpaaren trainierten Reward-Modell kommt und ein Sprachmodell mit PPO gegen dieses Modell optimiert wird.

Beispiel: RL in Spielen, Robotik und LLM-Alignment

Der bekannteste RL-Erfolg ist [AlphaGo](https://www.nature.com/articles/nature16961) (Silver et al. 2016) und dessen Nachfolger AlphaZero, die Go, Schach und Shogi über Selbstspiel und eine Kombination aus Monte-Carlo-Tree-Search und neuronaler Policy-/Value-Schätzung auf übermenschliches Niveau brachten. Das Reward-Signal ist minimal (Sieg oder Niederlage am Partien-Ende), die Policy lernt trotzdem strategisches Spiel, weil sie über Millionen selbstgespielter Partien systematisch Zustände bewertet.

In der Robotik trainieren RL-Verfahren Greif- und Bewegungspolicies zunächst in Simulation und übertragen sie anschließend auf reale Hardware (Sim-to-Real). SAC und PPO sind hier die Standardverfahren, weil sie mit kontinuierlichen Aktionsräumen umgehen. DeepMind nutzte RL zur Steuerung der Kühlung in Google-Rechenzentren; die Policy senkte den Energieverbrauch messbar, weil sie die Interaktionen zwischen Last, Außentemperatur und Kühlkomponenten präziser modellierte als die zuvor eingesetzten regelbasierten Controller.

Im LLM-Kontext sitzt RL in der Alignment-Phase nach dem Supervised Fine-Tuning. [InstructGPT](https://arxiv.org/abs/2203.02155) (Ouyang et al. 2022) etablierte die dreistufige Pipeline: Supervised Fine-Tuning auf Instruktions-Response-Paaren, Reward-Modell-Training auf menschlichen Präferenzrankings, PPO-Optimierung des Sprachmodells gegen das Reward-Modell. Diese Pipeline steckt in fast allen Chat-Instruct-Modellen (GPT-Instruct-Reihe, Claude, offene Llama-Instruct-Varianten). Neuere Verfahren wie DPO umgehen den expliziten RL-Schritt und formulieren dasselbe Ziel als Klassifikations-Loss; siehe dazu [Preference Tuning](/insights/glossar/preference-tuning/) als Familienbegriff über RLHF und seine Nachfolger.

Architektonisch positioniert sich RL auf Data-und-KI-Plattformen dort, wo Trainings-Compute, kuratierte Datensätze und Modell-Serving zusammenkommen. Auf Databricks liegt der Präferenz- oder Interaktionsdatensatz im Lakehouse, das Training läuft in verwalteten GPU-Umgebungen (Mosaic AI Training), das ausgerichtete Modell wird über Model Serving bereitgestellt. Der [KI-Betrieb auf Databricks](/insights/databricks/artificial-intelligence/) fasst diese Kette zusammen.