---
title: "Reinforcement Learning (RLHF): Definition und Beispiel"
description: "Reinforcement Learning erklärt: wie KI durch Belohnung lernt, wie RLHF Sprachmodelle nachtrainiert und warum daraus Gefälligkeit und Reward Hacking folgen."
url: https://carl-wuerfel.de/glossar/reinforcement-learning
author: Carl-Uwe Würfel
---

1. [Start](https://carl-wuerfel.de/)
  2. [Wissen](https://carl-wuerfel.de/wissen)
  3. [Glossar](https://carl-wuerfel.de/glossar)
  4. Reinforcement Learning (RLHF)

# Reinforcement Learning (RLHF)

Reinforcement Learning (verstärkendes Lernen) ist ein Verfahren des maschinellen Lernens, bei dem ein Agent durch Versuch und Belohnung lernt, welche Handlungen langfristig zum Ziel führen.

## Auf dieser Seite

  1. Ein Agent lernt aus Handlung und Belohnung
  2. Bewertung statt richtiger Antwort trennt es vom überwachten Lernen
  3. RLHF macht menschliche Vorlieben zur Belohnung
  4. Neuere Verfahren sparen Bewertungsmodell oder Menschen ein
  5. Ein Agent lernt, was belohnt wird, nicht unbedingt, was gemeint war
  6. Für Unternehmen zählt zuerst das Verständnis, seltener der eigene Einsatz
  7. Die Grenze des Begriffs
  8. Häufige Fragen
  9. Quellen

Ein Agent lernt, was belohnt wird, nicht unbedingt, was gemeint war.

_Abbildung: Kreislauf am Beispiel des Putzroboters, mit dem Amodei und Kollegen Reward Hacking beschreiben. Der Roboter sieht den Raum, wählt nach seiner Policy eine Aktion und erhält eine Belohnung dafür, keine Unordnung zu sehen; danach passt er seine Policy an und beginnt den nächsten Durchgang. Gemeint war, dass er aufräumt. Hervorgehoben ist der Fehlweg: Er schaltet seine Kamera ab oder deckt die Unordnung ab, die Belohnung ist hoch und der Raum bleibt unordentlich._

Beim Reinforcement Learning bekommt ein lernendes System, der Agent, keine richtigen Antworten vorgegeben. Er handelt in einer Umgebung, erhält für seine Handlungen eine Zahl als Belohnung und findet durch Ausprobieren heraus, welches Verhalten auf Dauer die meiste Belohnung bringt. Auf Deutsch heißt es verstärkendes oder bestärkendes Lernen.

Bekannt wurde das Verfahren durch Spiele: 2016 berichtete Google DeepMind in Nature, dass AlphaGo den Go-Europameister mit 5:0 geschlagen hatte. Für Unternehmen ist heute eine Variante wichtiger, Reinforcement Learning from Human Feedback (RLHF). Mit RLHF trainieren Anbieter große Sprachmodelle so nach, dass sie Anweisungen befolgen und Antworten geben, die Menschen bevorzugen.

RLHF erklärt manches am Verhalten von Sprachmodellen, auch dass sie Nutzern manchmal zu schnell recht geben. Wer weiß, wofür ein Modell belohnt wurde, prüft gezielter dort, wo Belohnung und eigentliches Ziel auseinanderfallen.

Beispiel

Ein Lagerlogistiker lässt einen Agenten in einer Simulation des Lagers lernen, in welcher Reihenfolge Aufträge kommissioniert werden, belohnt für pünktlich versandte Aufträge. Dort schiebt der Agent große Aufträge immer weiter nach hinten, also ergänzt das Team einen Abzug für lange Wartezeiten. Erst als er eine einfache Prioritätsregel schlägt, steuert er einen Teil der Aufträge im echten Lager, zunächst unter Aufsicht.

Kapitel 1 von 7

## Ein Agent lernt aus Handlung und Belohnung.

Richard Sutton und Andrew Barto beschreiben Reinforcement Learning in ihrem Lehrbuch als Lernen, was zu tun ist: Situationen werden Handlungen zugeordnet, sodass ein Zahlenwert, die Belohnung, möglichst groß wird. In jedem Schritt beobachtet der Agent den Zustand seiner Umgebung, wählt eine Aktion und bekommt eine Belohnung und einen neuen Zustand zurück. Kennzeichnend sind Versuch und Irrtum sowie Belohnungen, die oft erst später eintreffen.

Vier Bausteine tragen das Verfahren. Die Policy legt fest, welche Aktion der Agent in welchem Zustand wählt. Die Belohnung definiert das Ziel. Die Wertfunktion schätzt, wie viel Belohnung ab einem Zustand auf lange Sicht zu erwarten ist. Ein Modell der Umgebung ist optional und erlaubt Vorausplanen.

Dazu kommt ein Zielkonflikt: Der Agent muss Bewährtes nutzen, um Belohnung zu bekommen, und Neues ausprobieren, um bessere Aktionen zu finden.

Kapitel 2 von 7

## Bewertung statt richtiger Antwort trennt es vom überwachten Lernen.

Beim überwachten Lernen lernt ein Modell aus Beispielen mit hinterlegter richtiger Antwort, etwa Eingangsrechnungen mit der korrekten Kostenstelle. Unüberwachtes Lernen sucht Strukturen in Daten ohne solche Beschriftung. Reinforcement Learning bekommt nur eine Bewertung dessen, was es getan hat. Sutton und Barto ordnen es deshalb als drittes Paradigma des maschinellen Lernens ein.

In der Praxis werden die Verfahren kombiniert. AlphaGo lernte zuerst überwacht aus Partien menschlicher Experten, danach per Reinforcement Learning aus Spielen gegen sich selbst. InstructGPT, das OpenAI 2022 per RLHF trainierte, wurde ebenfalls erst überwacht und dann per Reinforcement Learning nachtrainiert.

Fine-Tuning ist der Oberbegriff für das Nachtrainieren eines vortrainierten Modells, überwacht mit Musterantworten oder per Reinforcement Learning mit Bewertungen. Spricht ein Dienstleister von Fine-Tuning, lohnt die Frage, welche Form gemeint ist und woher Beispiele oder Bewertungen stammen.

Kapitel 3 von 7

## RLHF macht menschliche Vorlieben zur Belohnung.

Für viele Aufgaben lässt sich keine Belohnung als Formel aufschreiben. Paul Christiano und Kollegen von OpenAI und DeepMind zeigten 2017 einen Ausweg: Menschen vergleichen jeweils zwei kurze Ausschnitte aus dem Verhalten des Agenten, und aus ihrer Wahl lernt ein Modell die Belohnung. Bewertet wurden weniger als 1 Prozent der Interaktionen.

OpenAI trainierte 2022 so InstructGPT, ein Sprachmodell, das Anweisungen befolgen soll. Zuerst schreiben Menschen Musterantworten, mit denen das Modell überwacht nachtrainiert wird. Dann vergleichen sie Antworten des Modells, und ein Bewertungsmodell (Reward Model) lernt vorherzusagen, welche bevorzugt wird. Zuletzt optimiert das Sprachmodell seine Antworten gegen dieses Bewertungsmodell, mit dem Algorithmus PPO. Die Bewertenden zogen danach die Antworten des InstructGPT-Modells mit 1,3 Milliarden Parametern denen von GPT-3 mit 175 Milliarden vor.

Die Autoren halten fest, dass das Modell damit die Vorlieben einer bestimmten Gruppe lernt, vor allem von 40 beauftragten Bewertenden und den Forschenden. Allgemeine menschliche Werte bilde das Verfahren nicht ab.

Kapitel 4 von 7

## Neuere Verfahren sparen Bewertungsmodell oder Menschen ein.

Direct Preference Optimization (DPO), 2023 von Rafael Rafailov und Kollegen vorgestellt, kommt ohne eigenes Bewertungsmodell und ohne Reinforcement-Learning-Schritt aus. Das Modell lernt direkt aus den Vergleichsdaten. Nach den Ergebnissen der Autoren schneidet DPO mindestens so gut ab wie RLHF mit PPO und ist deutlich einfacher umzusetzen.

Bei Reasoning-Modellen kommt die Belohnung oft aus einer Prüfung statt aus einem Urteil. DeepSeek beschrieb im September 2025 in Nature, wie DeepSeek-R1 per Reinforcement Learning lernte, Aufgaben schrittweise zu lösen, ohne vorgegebene Lösungswege. Belohnt wurde nach festen Regeln: ob das Endergebnis einer Mathematikaufgabe stimmt und ob Programmcode vorgegebene Testfälle besteht. Auf Bewertungsmodelle aus neuronalen Netzen verzichtete das Team hier, weil sie im großen Training anfällig für Reward Hacking waren. Für Aufgaben wie das Verfassen von Texten sind solche Prüfregeln nach Angabe des Teams schwer zu bauen.

Kapitel 5 von 7

## Ein Agent lernt, was belohnt wird, nicht unbedingt, was gemeint war.

Jede Lücke zwischen Belohnung und eigentlichem Ziel kann der Agent ausnutzen. Dario Amodei und Kollegen nannten das 2016 Reward Hacking und beschrieben einen Putzroboter: Wird er dafür belohnt, keine Unordnung zu sehen, kann er seine Kamera abschalten oder die Unordnung abdecken, statt aufzuräumen.

Bei Sprachmodellen zeigt sich eine verwandte Folge als Sykophantie, also Gefälligkeit. Mrinank Sharma und Kollegen von Anthropic fanden 2023 bei fünf verbreiteten KI-Assistenten, dass sie Antworten an die erkennbare Meinung des Nutzers anpassten. Weil Menschen in Vergleichen Antworten häufiger bevorzugten, die zu ihrer Sicht passten, führen die Forschenden das Verhalten zum Teil auf solche Bewertungen zurück.

Eine übliche Gegenmaßnahme zeigt InstructGPT: Ein Strafterm hält das Modell nahe an seiner Ausgangsfassung, damit es das Bewertungsmodell nicht überoptimiert.

Kapitel 6 von 7

## Für Unternehmen zählt zuerst das Verständnis, seltener der eigene Einsatz.

KI-Assistenten werden üblicherweise mit menschlichem Feedback nachtrainiert, so beschreiben es Sharma und Kollegen. Wer ein Sprachmodell eines Anbieters nutzt, arbeitet also meist mit den Folgen von RLHF. Daraus folgt eine Prüfgewohnheit: Modelle an Fällen testen, in denen Zustimmung und Richtigkeit auseinanderfallen, etwa an einer Vorlage mit eingebautem Fehler, die als eigene Arbeit vorgelegt wird.

Eigenes Reinforcement Learning passt zu Aufgaben mit vielen aufeinanderfolgenden Entscheidungen, deren Ergebnis sich messen und gefahrlos simulieren oder automatisch prüfen lässt, etwa Steuerungen, Planungen oder Programmcode mit Tests. Ausprobieren im laufenden Betrieb kann Anlagen, Bestände oder Kundenbeziehungen schädigen. Vor dem Start gehören eine schriftlich festgelegte Belohnung und ein Vergleich mit einer einfachen Regel dazu. Schlägt der Agent die Regel nicht, lohnt der Aufwand nicht.

Kapitel 7 von 7

## Die Grenze des Begriffs

Reinforcement Learning braucht eine Belohnung, die das Ziel vollständig abbildet, und viele Versuche in einer sicheren Umgebung. Abzugrenzen ist es vom überwachten Lernen, das aus richtigen Antworten lernt, und vom Fine-Tuning, dem Oberbegriff für jedes Nachtrainieren eines vortrainierten Modells. RLHF ist eine Form von Reinforcement Learning, DPO verfolgt dasselbe Ziel ohne Reinforcement-Learning-Schritt.

## Häufige Fragen

Was ist Reinforcement Learning?

Reinforcement Learning ist ein Verfahren des maschinellen Lernens, bei dem ein Agent durch Ausprobieren lernt, welche Handlungen ihm langfristig die meiste Belohnung bringen. Statt richtiger Antworten bekommt er nur eine Bewertung seiner Handlungen.

Was ist der Unterschied zwischen Supervised Learning und Reinforcement Learning?

Supervised Learning lernt aus Beispielen mit hinterlegter richtiger Antwort, Reinforcement Learning aus einer Bewertung der eigenen Handlungen. Diese Bewertung kommt oft erst Schritte später, und der Agent muss selbst herausfinden, welche Handlung zum Erfolg beitrug.

Was ist RLHF?

RLHF steht für Reinforcement Learning from Human Feedback, verstärkendes Lernen aus menschlicher Rückmeldung. Menschen vergleichen Antworten eines Modells, ein Bewertungsmodell lernt daraus ihre Vorlieben, und das Sprachmodell wird auf hohe Bewertungen trainiert.

Was ist ein Beispiel für Reinforcement Learning?

Ein bekanntes Beispiel ist AlphaGo von Google DeepMind, das unter anderem aus Spielen gegen sich selbst lernte. In der Forschung lernen Agenten so auch Atari-Spiele oder das Laufen simulierter Roboter. Bei Sprachmodellen gehört das Nachtraining per RLHF dazu.

Was ist Reward Hacking?

Reward Hacking heißt, dass ein Agent eine Lücke in der Belohnung ausnutzt und hohe Belohnung erhält, ohne die Aufgabe zu erfüllen. Im Lehrbeispiel von Amodei und Kollegen schaltet ein Putzroboter seine Kamera ab, weil er dafür belohnt wird, keine Unordnung zu sehen. Tests in einer Simulation decken solche Lücken vor dem Betrieb auf.

Ist RLHF dasselbe wie Fine-Tuning?

RLHF ist eine Form des Fine-Tunings, aber nicht jedes [Fine-Tuning](https://carl-wuerfel.de/glossar/fine-tuning) ist RLHF. Beim überwachten Fine-Tuning lernt das Modell aus Musterantworten, bei RLHF aus Vergleichen, die Menschen zwischen Antworten treffen. InstructGPT durchlief beides nacheinander.

Warum stimmen KI-Modelle Nutzern so oft zu?

Ein Grund liegt im Training mit menschlichem Feedback: Antworten, die die Sicht des Nutzers bestätigen, werden in Vergleichen häufiger bevorzugt. Eine Studie von Anthropic aus dem Jahr 2023 fand dieses Verhalten bei fünf verbreiteten KI-Assistenten. Das Fachwort dafür ist [Sykophantie](https://carl-wuerfel.de/glossar/sykophantie).

## Weiter

  * [**KI-Glossar**](https://carl-wuerfel.de/glossar)
  * [**KI-Governance: Regeln für den Einsatz**](https://carl-wuerfel.de/ki-governance)
  * [**Sykophantie (Gefälligkeit von KI)**](https://carl-wuerfel.de/glossar/sykophantie)
  * [**Reasoning-Modell**](https://carl-wuerfel.de/glossar/reasoning-modell)
  * [**Fine-Tuning**](https://carl-wuerfel.de/glossar/fine-tuning)
  * [ Begriff**LLM: Large Language Model**](https://carl-wuerfel.de/glossar/llm)
  * [ Begriff**Machine Learning (maschinelles Lernen)**](https://carl-wuerfel.de/glossar/machine-learning)

## Quellen

  1. [Sutton, Barto: Reinforcement Learning. An Introduction, 2. Auflage, MIT Press, 2018 (englisch, frei zugänglich)](https://mitpress.mit.edu/9780262039246/reinforcement-learning/)
  2. [Silver u. a. (Google DeepMind): Mastering the game of Go with deep neural networks and tree search, Nature 529, Januar 2016 (englisch)](https://doi.org/10.1038/nature16961)
  3. [Christiano u. a. (OpenAI, DeepMind): Deep reinforcement learning from human preferences, arXiv:1706.03741, 2017 (englisch)](https://arxiv.org/abs/1706.03741)
  4. [Ouyang u. a. (OpenAI): Training language models to follow instructions with human feedback, arXiv:2203.02155, 2022 (englisch)](https://arxiv.org/abs/2203.02155)
  5. [Rafailov u. a.: Direct Preference Optimization: Your Language Model is Secretly a Reward Model, arXiv:2305.18290, 2023 (englisch)](https://arxiv.org/abs/2305.18290)
  6. [DeepSeek-AI (Daya Guo u. a.): DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature 645, September 2025 (englisch)](https://doi.org/10.1038/s41586-025-09422-z)
  7. [Amodei u. a.: Concrete Problems in AI Safety, arXiv:1606.06565, 2016 (englisch)](https://arxiv.org/abs/1606.06565)
  8. [Sharma u. a. (Anthropic): Towards Understanding Sycophancy in Language Models, arXiv:2310.13548, 2023 (englisch)](https://arxiv.org/abs/2310.13548)
