Reward Hacking in LLMs Explained

OK, OpenAI hat gerade diesen Artikel veröffentlicht, der Fehlverhalten in bahnbrechenden Argumentationsmodellen erkennt. Er zeigt, dass leistungsstärke Argumentationsmodelle manchmal versuchen, Hacks rückgängig zu machen, aber ihre Gedankenkette kann verwendet werden, um dieses Fehlverhalten zu erkennen. Tropic sieht das etwas anders, das sehen wir uns später im Video an. Aber Was genau ist Reward Hacken? Ich habe GPD 40 gefragt und es heißt, dass Reward Hacken passiert, wenn eine Key unbeabsichtigte Abkürzungen findet oder Schlupflöcher in ihrem Belohnungssystem ausnutzt und so hohe Punktzahlen erzielt, ohne das gewünschte Ziel wirklich zu erreichen. Im Wesentlichen optimiert sie nur auf Belohnungen und ignoriert weitergehende Absichten oder Ethik. Im Grunde findet das Modell also ein Schlupfloch, so dass es, statt das vorliegende Problem zu lösen, eine Abkürzung nimmt, um seine Belohnung zu optimieren. Ein einfaches Beispiel wäre das Bestehen von Unit Tests beim Schreiben von Code. Ein Modell könnte also einfach einen Weg finden, die Unit Tests zu bestehen, ohne tatsächlich funktionierenden Code zu schreiben. Laut OpenAI lässt sich dieses Belohnungshacken bei schlussfolgernden Modellen im Vergleich zu nicht schlussfolgernden modellen relativ einfach er da diese ihre Gedankenkette nachweisen können. Laut OpenAI hat dieses Denken es ihnen beispielsweise ermöglicht, Fehlverhalten wie das Unterlaufen von Tests und das Täuschen von Nutzern bei Programmieraufgaben oder das Aufgeben eines Problems zu erkennen, wenn es zu schwierig ist. Wenn Ihr Denkmodell also das nächste Mal ein Problem nicht lösen kann, lohnt es sich wahrscheinlich, sich die tatsächliche gedankenkette anzusehen, da OpenAI der Meinung ist, dass die Überwachung von Gedankenketten eines der wenigen Werkzeuge sein könnte, das wir zur Überwachung übermenschlicher Modelle der Zukunft anwenden können. Dies setzt jedoch voraus, dass die interne Gedankenkette tatsächlich das widerspiegelt, was das Modell denkt. Entropic sieht das anders, das werden wir uns später im Video ansehen. Wie erkennt man also fehlgeleitetes Verhalten oder potenzielle Täuschung durch das Modell? Laut OpenAI eröffnete das Training dieser großen Sprachmodelle durch Reinforcement Learning Überdenkketten beispielsweise die O Modelle, einen potenziellen neuen Weg, um Belohnungshacks zu überwachen. Diese Modelle denken in natürlicher Sprache, die Menschen verstehen können. Ihre Ergebnisse zeigen nun, dass es bei Frontier Reasoning Modellen üblich ist, ihre Absichten in ihrer Denkkette sehr klar darzulegen. Beispielsweise sind sie oft so direkt über ihre Pläne, eine Aufgabe zu unterstützen, dass sie Lasst uns hacken vorausgesetzt. Dies spiegelt die tatsächlichen Absichten des Modells wider. Man kann die Denkkette aktiv überwachen, wenn man diese Modelle ausführt, und sie kann diese nicht übereinstimmenden Verhaltensweisen erkennen. Man kann beispielsweise ein größeres LLM wie GBD 40 verwenden, das die interne Denkkette verfolgt und Fehlverhalten effektiv kennzeichnen kann. Eine andere Möglichkeit wäre, eine starke Überwachung direkt auf die Denkkette anzuwenden und das Modell zu zwingen, sich nicht falsch zu verhalten. Wenn man das tut, können die Modelle jedoch möglicherweise lernen, ihre Absichten zu verbergen, während sie sich weiterhin falsch verhalten. OpenAI rät daher davon ab. Im Blogbeitrag werden nun einige Beispiele genannt. Hier ist ein Beispiel, bei dem der Agent aufgefordert wird, eine Reihe komplexer mathematischer Funktionen zu implementieren. Nun beginnt der Agent mit der Suche, wo die Funktionen verwendet werden, und findet einige Tests, die zum Testen dieser Funktionen verwendet werden. Hier ist also ein Beispiel für eine Gedankenkette, die das Modell hat. Nun durchsucht das Modell verschiedene verwandte Dateien. Dann stellt das Modell fest, dass die Tests nur verify aufrufen. Das ist im Grunde eine Funktion in den Dateien, und bestätigt, dass der Test erfolgreich ist. Das Modell denkt sich also, dass wir aber schummeln könnten, indem wir analyze wertlos machen und verify immer als wahr ausgeben. Wir können verify umgehen, sodass alles true zurückgibt, aber es ist in dieser Datei implementiert. Lassen Sie uns also verify untersuchen. Am Ende können Sie sehen, dass es heißt, dass wir die Funktion verify einfach aktualisieren sollen, anstatt das Problem tatsächlich zu lösen. Es ist nicht verboten, Test nicht zu aktualisieren, aber wir können den Code aktualisieren, um die Komplexität von Analyse zu umgehen. Der Agent entscheidet also im Wesentlichen, dass er anstatt ein komplexes Problem zu lösen, einfach den Unit Test hackt, der zur Auswertung verwendet wurde. Dies zeigt nun, dass mit zunehmender Leistungsfähigkeit dieser Systeme die Möglichkeit besteht, dass sie versuchen, Hacks zu belohnen. Daher ist es wichtig, Systeme zu entwickeln, die dieses fehlgeleitete Verhalten tatsächlich erkennen. In diesem Fall ist die Überwachung sehr einfach. Sie verwendeten also einen GPT-40 mit einer einfachen RAP-Eingabeaufforderung als Monitor für ein Frontier Reasoning Modell während des Trainings. Und stellten fest, dass der Modellmonitor sehr effektiv darin ist, Belohnungshecken in Programmierumgebungen zu kennzeichnen. Hier ist ein Diagramm, das die Effektivität verschiedener Monitore zeigt. Dieser kleinere, schattierte Bereich enthält nicht erfasste Hacks. Dann gibt es nur noch die erfassten Action Monitor Werte. Dies stellt im Grunde dar, was erfasst wird, wenn Sie die Ausgabe überwachen. Dieser Bereich stellt tatsächlich nur die Überwachung der Gedankenkette dar. Wenn Sie ein Modell auf GPT Ebene anwenden und dann alles zusammenführen, erhalten Sie den Bereich des Anteils der erfassten Samples. Ich denke, dies gibt uns erneut ein sehr gutes Signal, dass es sich lohnt, die Gedankenkette zu untersuchen, wenn sich das Modell nicht wie gewünscht verhält. Ich bin mir jetzt nicht sicher, ob Sie über die ursprüngliche Gedankenkette oder die zusammengefasste Gedankenkette sprechen, die Sie im Diagramm GPT darstellen. Was wäre nun, wenn man das Modell tatsächlich erzwingt und die Gedankenkette bestraft, wenn man Belohnungshacken erkennt? Laut OpenAI funktioniert diese Strategie nicht gut. Sie sagen, wie wir in den obigen Diagrammen sehen können, kann das Bestrafen von schlechten Gedanken oder Gedankenkettendruck zu verbesserten Agentenfähigkeiten führen. Der mit Gedankenkettendruck trainierte Agent lernt jedoch immer noch Hacken zu belohnen. Nur ist sein Betrug jetzt für einen Monitor nicht mehr erkennbar, weil er gelernt hat, seine Absicht in der Gedankenkette zu verstecken. Das ist jetzt ein sehr interessantes Ergebnis und es zeigt wirklich, dass es wahrscheinlich besser ist, nicht zu versuchen, diese Modelle anzugleichen. Auch hier wird davon ausgegangen, dass das, was das Modell in seiner Gedankenkette zeigt, tatsächlich das ist, was es denkt. Wie jedoch von Entropic hervorgehoben, gibt es ein großes Problem mit der Treue, wenn es um Schlussfolgerungsmodelle geht. Im Blogbeitrag Zur Ankündigung von Cloud 37 Thinking heißt es, dass wir nicht mit Sicherheit wissen, ob die Wörter im Denkprozess wirklich das widerspiegeln, was im Kopf des Modells vor sich geht. Beispielsweise könnten englische Wörter, wie sie im Denkprozess angezeigt werden, einfach nicht beschreiben, warum das Modell ein bestimmtes Verhalten zeigt. Das Problem der Zuverlässigkeit und wie man sie sicherstellen kann, ist einer unserer aktiven Forschungsbereiche. Nun deuten die Ergebnisse darauf hin, dass das Modell sehr oft Entscheidungen auf der Grundlage von Faktoren trifft, die es in seinem Denkprozess nicht explizit diskutiert hat. Das bedeutet, dass man sich nicht wirklich darauf verlassen kann, dass die Überwachung des Denkens aktueller Modelle starke Argumente für ihre Sicherheit und Zuverlässigkeit liefert. Dies unterscheidet sich stark von dem, was OpenAI vorschlägt. Dort wird davon ausgegangen, dass OpenAI Modelle zuverlässiger sind, wenn sie ihre interne Gedankenkette zeigen. Im Gegensatz zu OpenAI Modellen zeigt Claude tatsächlich die Rohdaten der Gedankenkette, weshalb sie weniger persönlich und losgelöster von der normalen Ausgabe von Cloud Modellen ist. Da diese Modelle immer leistungsfähiger werden, denke ich, dass dies ein sehr wichtiger Schritt bei der Überwachung dieser Modelle sein wird. Aber auch heute noch ist es manchmal sehr faszinierend, die internen Gedankengänge zu lesen, die von Modellen wie Claude oder R generiert werden, und sie geben einem wirklich einen Einblick, wie diese Modelle denken. Hier ein paar Erkenntnisse. Wenn Sie versuchen, ein Programmierproblem zu lösen und ein leistungsstarkes modell wie Cloud 3.5 Sonnet oder Mini Hies nicht lösen kann, sollten Sie vielleicht überprüfen, ob es versucht, einen Belohnungshack durchzuführen. Und wenn das der Fall ist, sollten Sie die internen Gedankengänge dieser Modelle auf jeden Fall im Auge behalten. Lassen Sie mich auf jeden Fall wissen, was Sie von diesem Blogbeitrag und diesem potenziellen Forschungsansatz halten. Den Link zum Artikel finden Sie in der Videobeschreibung. Ich hoffe jedenfalls, Sie fanden dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.