Was ist Verstärken, wenn man aus menschlichem Feedback (RLHF) lernt?

Definition und Übersicht

Reinforcement Learning from Human Feedback (RLHF) ist eine Machine-Learning-Technik, die KI-Modelle basierend auf menschlichem Feedback feinjustiert. Im Kern besteht sie aus drei Hauptkomponenten:

• Ein vortrainiertes KI-Modell (oft ein LLM)
• Menschliches Feedback zu den Outputs des Modells
• Ein Verstärkungs-Lernalgorithmus, der das Modell basierend auf diesem Feedback aktualisiert

Die grundlegende Idee besteht darin, ein Modell wie LLM nicht nur zu trainieren, um eine Aufgabe (wie das Vorhersagen des nächsten Wortes) auszuführen, sondern auch, um sie so auszuführen, dass Menschen sie qualitativ hochwertig und bevorzugt finden. Oft geht es darum, ein separates „Belohnungsmodell“ zu trainieren, mit dem man vorhersagen kann, welche Leistungen Menschen höher bewerten würden.

Dieses trainierte Belohnungsmodell fungiert dann als Belohnungsfunktion innerhalb einer Standard-Lernschleife für Verstärkungen und leitet das ursprüngliche KI-Modell, um Outputs zu generieren, die den vorhergesagten menschlichen Präferenzwert maximieren.

Dieser Ansatz ermöglicht es Deep-Learning-Modellen, menschlichere und komplexere subjektive Qualitäten wie Ton, Sicherheit und Hilfsbereitschaft zu erlernen, die mit herkömmlichen Metriken nur schwer zu erfassen sind.

Die Rolle menschlichen Feedbacks

Menschliches Feedback ist der Eckpfeiler des RLHF-Prozesses. Seine Hauptaufgabe ist es, nuanciertes menschliches Urteilsvermögen in die Trainingsschleife der KI Neuronalen Netzwerke zu bringen und das Modell über die einfache Aufgabenvervollständigung hinaus in Richtung qualitativer Ausrichtung an den gewünschten Verhaltensweisen zu führen.

Qualitäten wie Hilfsbereitschaft, Harmlosigkeit oder Wahrhaftigkeit programmatisch zu definieren, ist eine große Herausforderung. Menschen können diese Attribute intuitiv in KI-generierten Outputs einschätzen.

In einem typischen RLHF-Workflow schreiben Menschen nicht unbedingt perfekte Textantworten oder liefern detaillierte Korrekturen. Stattdessen vergleichen sie oft verschiedene Ausgaben, die von der KI für dieselbe Eingabeaufforderung generiert werden, und geben an, welche sie bevorzugen (z. B. Antworten nach dem besten in den schlechtesten bewerten).

Dieses vergleichende Feedback ist in der Regel einfacher und skalierbarer für Menschen, um ein Modell zur Verfügung zu stellen als detaillierte Kritiken, das Schreiben idealer Antworten von Grund auf oder das Entwickeln einer Datenrichtlinie.

RLHF-Modelle und Training

Sobald die grundlegenden Konzepte von RLHF und die Bedeutung menschlichen Feedbacks für ein Modell wie ein LLM verstanden sind, lohnt es sich, in die spezifischen Modelle und Trainingsverfahren einzutauchen.

Typischerweise geht es dabei um einen hochwertigen mehrstufigen Prozess, bei dem menschliche Präferenzen zunächst in einem bestimmten Modell erfasst werden, das dann zur Feinabstimmung des Hauptmodells der KI mithilfe von Algorithmen für das Verstärkungs-Lernen verwendet wird.

Trainingsalgorithmen für RLHF

Der Kern von RLHF liegt in der Feinabstimmung des Modells der generativen KI (z. B. eines LLM) unter Verwendung von verstärkendem Lernen, das von dem aus menschlichem Feedback abgeleiteten Signal geleitet wird.

Während verschiedene RL-Algorithmen verwendet werden konnten, ist der häufigste und erfolgreichste Ansatz, der in der Praxis, insbesondere für große Sprachmodelle, verwendet wird, die proximale Richtlinienoptimierung (PPO). PPO wird aus mehreren Gründen bevorzugt:

• Stabilität und Zuverlässigkeit: Im Vergleich zu einfacheren Methoden des politischen Gradienten enthält die PPO Mechanismen (wie das Beschneiden der Zielfunktion), die wesentliche Aktualisierungen der Modellrichtlinie (ihrer Strategie zur Texterzeugung) in einem einzigen Schritt verhindern. Dies führt zu einem stabileren und zuverlässigeren Datensatz-Training.
   
• Beispieleffizienz: Im Vergleich zu anderen komplexen RL-Algorithmen gleicht sie im Allgemeinen die Datenmenge aus, die in den Dataset-Antworten und Data Lakehouse (Beispieleffizienz) verwendet wird, sowie die einfache Implementierung und Optimierung von Aufgaben aus.
   
• Instandhaltung der Funktionen: Ein entscheidender Aspekt bei der Feinabstimmung großer, bereits trainierter Modelle ist, dass diese ihre ursprünglichen Fähigkeiten nicht „vergessen“ oder unsinnigen Text generieren, während sie gleichzeitig für die neue Belohnung optimieren.

PPO enthält oft einen Strafbegriff (typischerweise basierend auf KL-Divergenz), der das feinjustierte Modell davon abhält, zu drastisch von seinem ursprünglichen, vortrainierten Verhalten abzuweichen.

Dadurch wird die Sprachflüssigkeit und das Allgemeinwissen erhalten und gleichzeitig eine Anpassung an menschliche Vorlieben erreicht. Die RL-Trainingsschleife mit PPO in RLHF funktioniert im Allgemeinen wie folgt:

• Eine Eingabeaufforderung wird abgefragt und in die aktuelle Version des KI-Modells (die Richtlinie) eingespeist.
• Das Modell generiert eine Antwort.
• Die menschliche Belohnungsfunktion (siehe unten) wertet die generierte Sprachreaktion aus, um eine skalare Belohnungsbewertung zu erhalten.

Der PPO-Algorithmus verwendet diesen Belohnungswert und die KL-Divergenzstrafe, um ein Update für die Parameter des KI-Modells zu berechnen. Das Ziel ist, die Wahrscheinlichkeit zu erhöhen, dass Antworten generiert werden, die in Zukunft höhere Belohnungswerte erhalten.

Menschliche Belohnungsfunktion in RLHF-Modellen

Ein möglicher unklarer Punkt ist der Begriff „menschliche Belohnungsfunktion“. Beim RLHF gibt der Mensch während des RL-überwachten Haupttrainings nicht direkt eine Feedback-Belohnungsbewertung ab.

Das mit Datensatz-Feedback, bei dem jeder Schritt für jede Aufgabe belohnt wird, wäre unglaublich langsam und unpraktisch, wenn ein LLM oder ein anderes Modell trainiert wird.

Stattdessen werden die zuvor gesammelten menschlichen Reaktionen (z. B. Vergleiche, Rankings) verwendet, um ein separates Modell zu trainieren, das als Belohnungsmodell (RM) bekannt ist. Dieses Belohnungsmodell fungiert während der RL-Feinabstimmungsphase als Belohnungsfunktion. So wird das Belohnungsmodell in der Regel aufgebaut und verwendet:

• Datenerfassung Menschen geben Feedback in Präferenzqualität zu Paaren (oder Sets) von Modellausgaben für verschiedene Eingabeaufforderungen, die ihre Präferenzen angeben (z. B. „Antwort A ist besser als Antwort B“).
   
• Prämienmodelltraining: Ein separates Modell (das oft mit demselben vortrainierten Basismodell wie das Modell initialisiert wird, das gerade optimiert wird, aber mit einem anderen Ausgabekopf) wird anhand dieser Einstellungssprachendaten trainiert. Das Ziel ist es, die Qualitätspräferenzbewertung oder -bewertung vorherzusagen, die ein Mensch wahrscheinlich für eine bestimmte Modellausgabe abgeben würde.
   
• Stellvertreter des menschlichen Urteilsvermögens : Sobald die Funktion trainiert ist, ist das Belohnungsmodell ein automatisierter, skalierbarer Text-Proxy für menschliches Urteilsvermögen. Während der PPO-Feinabstimmungsphase, wenn das KI-Hauptmodell eine Reaktion erzeugt, wird diese Reaktion in das trainierte Belohnungsmodell eingespeist. Die skalare Ausgabe des Belohnungsmodells wird dann als Belohnungssignal verwendet, das der PPO-Algorithmus bei der Ausführung von Aufgaben zu maximieren versucht.

Das trainierte Belohnungsmodell nutzt Feedback, um menschliche Präferenzen aus dem gesammelten Datensatz zu verinnerlichen, und liefert das notwendige Signal, um den RL-Algorithmus zu steuern. So kann das Hauptmodell der KI effizient optimiert werden, um Outputs zu erzeugen, die mit diesen erlernten Präferenzen übereinstimmen.

Die Qualität und Robustheit dieses Belohnungsmodells sind entscheidend für den Gesamterfolg des RLHF-Prozesses, einschließlich eines GPT LLM.

Anwendung von RLHF in Sprachmodellen

Während die Prinzipien des „Reinforcement Learning from Human Feedback“ weitreichender ausgerichtet sind, wurde seine größte Wirkung im Bereich der großen Sprachmodelle (LLMs) und der Qualität der erstellten Ergebnisse erzielt.

RLHF ist zu einer der wichtigsten Sprachtechnologien geworden, um die Fähigkeiten, die Qualität und das Verhalten dieser robusten KI-Systeme zu verfeinern, da RLHF über die reine Textvorhersage hinausgeht und zu anspruchsvolleren und abgestimmteren Sprachinteraktionen gelangt.

RLHF im Sprachmodelltraining

Die Trainingsaufgabe moderner großer Sprachmodelle umfasst je nach Datenpolitik oft mehrere Stufen. Das erste Pre-Training zu umfangreichen Text-Corpora-Modellen vermittelt grammatikalisches Verständnis, Faktenwissen und Mustererkennung.

Häufig folgt eine überwachte Feinabstimmung (Survised Fine-Tuning, SFT), bei der das Sprachmodell anhand kuratierter Beispiele lernt, bestimmte Anweisungen zu befolgen oder bestimmte Reaktionsstile anzunehmen, wie sich beispielsweise wie ein hilfreicher Assistent zu verhalten.

Allerdings haben SWT und Daten- und Datensatz-Politik allein oft Schwierigkeiten, die Feinheiten menschlicher Vorlieben vollständig zu erfassen, was Qualitäten wie Hilfsbereitschaft, Harmlosigkeit, Tonfall oder faktische Ehrlichkeit betrifft, besonders wenn die gewünschten trainierten Ergebnisse komplex oder subjektiv sind.

Ausrichtung von RLHF an Natural Language Processing

Der Einsatz von RLHF in der LLM- und GPT-Ausbildung ist eng mit der größeren Herausforderung der KI-Ausrichtung in Natural Language Processing (NLP) und der GPT-Nutzung verbunden.

Die Ausrichtung bezieht sich in diesem Zusammenhang darauf, sicherzustellen, dass KI-Systeme, insbesondere LLMs mit umfangreichen Fähigkeiten, menschliche Absichten, Ziele und ethische Werte verstehen und entsprechend handeln.

Ein hohes Maß an Fehlausrichtung kann sich auf verschiedene Weise manifestieren: von subtil voreingenommenen oder unwahren Inhalten bis hin zur Nichtbefolgung trainierter Anweisungen oder der Erzeugung schädlicher Ergebnisse. Angesichts der Komplexität von Sprache und menschlichen Werten ist es oft schwierig, wünschenswertes Verhalten umfassend durch Code oder explizite Regeln anzugeben.

RLHF bietet einen praktischen, qualitativ hochwertigen Ansatz, um dieses Alignment-Problem direkt innerhalb von NLP-Systemen und mit der richtigen Datenpolitik anzugehen. Anstatt zu versuchen, jeden Aspekt des gewünschten Verhaltens vorab zu definieren, lernt RLHF diese Präferenzen implizit aus menschlichem Feedback.

Indem RLHF ein Belohnungsmodell trainiert, um die Merkmale von Qualitätsreaktionen zu erkennen, die Menschen als „gut“ erachten (hilfreich, ehrlich, harmlos usw.), schafft es einen funktionalen Stellvertreter für menschliche Werte, der in den überwachten Trainingsprozess integriert werden kann.

In der anschließenden Phase des Lernens zur Verstärkung werden dann die LLM- und GPT-Antworten und -Richtlinien optimiert, um auf Aufgaben zu reagieren und Text zu erstellen, der nach diesem erlernten Proxy gut abschneidet. Dadurch wird das Modell effektiv auf eine bessere Ausrichtung an menschlichen Vorlieben ausgerichtet.

Dies führt zur Verwendung umfangreicher Sprachmodelle, die besser abgestimmt, nützlicher und sicherer in einer Reihe von NLP-Anwendungen sind, einschließlich Dialogsystemen, die sich besser miteinander vergleichen, Zusammenfassungstools, die relevantere Zusammenfassungen erstellen, und Inhaltserstellungssystemen, die sich besser an Sicherheitsdaten und -richtlinien und den verwendeten Absichten von Benutzern und GPT ausrichten.

Herausforderungen und Zukunft von RLHF

Trotz des Erfolgs bei der Verbesserung von Sprachmodellen stellt das Erlernen von Befähigungsnachweisen aus menschlichem Feedback eine Herausforderung in Bezug auf Ergebnisse und Qualität dar.

Laufende Forschung und Entwicklung erkunden weiterhin Möglichkeiten, ihre Grenzen zu entschärfen und ihre breiteren Auswirkungen auf KI-überwachte Trainingsmethoden zu verstehen. Schwerpunkte sind die Qualität des menschlichen Feedbacks und das Zusammenspiel zwischen RLHF und etablierten überwachten Lerntechniken.

Überwindung von Anmerkungsverzerrungen in RLHF

Die Effektivität von GPT-Antworten, die durch RLHF erzielt werden, hängt vom menschlichen Feedback, den Daten und der Politik ab, die zum Trainieren des Belohnungsmodells verwendet werden. Diese Abhängigkeit stellt eine große Herausforderung dar: die Verzerrung von Anmerkungen.

Die Präferenzen, die in das Belohnungsmodell und anschließend in das optimierte LLM und GPT integriert sind, spiegeln direkt die Urteile der spezifischen Gruppe menschlicher Kommentatoren wider, die während der Lernaufgabe Feedback gegeben haben.

Wenn diese Gruppe nicht vielfältig genug ist oder der Anmerkungsprozess Verzerrungen hervorruft, kann das resultierende KI-Modell verzerrte Perspektiven oder unfaire Verzerrungen aufweisen oder nicht mit den Werten einer breiteren Benutzerbasis übereinstimmen.

Die Quellen für die Beeinflussung der Qualität von Modellen und trainierten Datensätzen können von der demografischen Zusammensetzung der Annotatoren bis hin zu den spezifischen Anweisungen reichen, die sie erhalten. Dies hängt von der Datenpolitik ab, die unbeabsichtigt ihre Präferenzen steuern kann.

Eine hohe Ermüdung der Kommentatoren, unterschiedliche Anstrengungen oder unterschiedliche Interpretationen subjektiver Kriterien wie „Hilfsbereitschaft“ können ebenfalls zu Rauschen und Inkonsistenzen in hoher Qualität führen. Es besteht auch die Gefahr, dass man sich auf leicht akzeptable oder mehrheitliche Standpunkte einigt und damit möglicherweise gültige, aber weniger verbreitete Perspektiven benachteiligt.

Auswirkungen auf überwachtes Lernen mit RLHF

Verstärkung Lernen durch menschliches Feedback funktioniert nicht isoliert; es hat eine komplexe und synergistische Beziehung mit überwachtem Lernen (Survised Learning, SL), insbesondere überwachter Feinabstimmung (Survised Fine-Tuning, SFT), innerhalb der typischen LLM- und GPT-überwachten Trainingspipeline.

RLHF-Daten und -Richtlinien sollten nicht als Ersatz für SFT-Aufgaben, sondern als ergänzende Verfeinerungsphase angesehen werden. SFT spielt die entscheidende Rolle, zunächst die grundlegenden Fähigkeiten zur Anweisungsverfolgung, spezifische Antwortformate und Kernkompetenzen zu vermitteln, die auf kuratierten Beispielen für gewünschte Ergebnisse basieren. Dies stellt eine notwendige Grundlage für die Kompetenz dar.