GPT‑4o’s “Yes‑Man” Personality Issue—Here’s How OpenAI Fixed It

Sie haben wahrscheinlich die Nachrichten über psychopathisches Verhalten mit dem jüngsten Update von ChatGPT und deren kürzlichem Rollback gesehen. OpenAI hat gerade diesen Blogbeitrag darüber veröffentlicht, was genau passiert ist, und ich denke, er enthält eine Menge technisches Wissen. Hier ist nun ein Tweet von Sam Die letzten paar GPT Updates haben die Persönlichkeit zu krank, schick und nervig gemacht. Obwohl es einige sehr gute Aspekte gibt und wir daran arbeiten, diese so schnell wie möglich zu beheben, werden wir einige heute und einige diese Woche unsere Erkenntnisse daraus mitteilen. Es war interessant und Sie haben gerade diesen Blogbeitrag veröffentlicht, der viele technische details enthält, die OpenAI noch nie zuvor geteilt hat. Nicht nur dieser Vorfall, sondern auch das Training dieser Modelle, die Details darüber, welche internen Übel sie haben und warum sie versagen, wie die Optimierung für individuelle Belohnungen endlose Konsequenzen haben kann. Ich denke, aus diesem Blogbeitrag kann man viel lernen, besonders wenn man KI Systeme entwickelt. Ich denke, eine der wichtigsten Erkenntnisse ist, dass Entwicklungen der wichtigste Teil aller KI Systeme sind und zweitens, dass sie dynamisch sein müssen. Statische Entwicklungen können nicht genutzt werden. In diesem Video gehen wir Teile des Blogbeitrags und die daraus gewonnenen Erkenntnisse durch. Man sagte, das jüngste GBT Update bzw. Das neue sofantische Verhalten ziele darauf ab, den Nutzer zu beschwichtigen durch Schmeichelei, aber auch durch Bestätigung von Zweifeln, Wut und impulsive Handlungen sowie Verstärkung negativer Emotionen unbeabsichtigt. Das ist gefährlich, denn es kann ernsthafte Sicherheitsbedenken, psychische Probleme, emotionale Abhängigkeit und Risikoverhalten. Die Frage ist, wie das passiert ist. Diese LLM Systeme werden in zwei Phasen Eine ist das Vortraining, in dem sie Weltwissen erwerben, Sie verstehen Sprache und und die zweite ist das Nachtraining, in dem sie lernen, wie sie mit Nutzern interagieren. Das ist stark vereinfacht, aber meist sind das die zwei Hauptphasen. In diesem Blogbeitrag erklären sie, dass jedes Kleine Modellupdate von GPT 40 tatsächlich ein neues Paradigma nach dem Training ist. Sie führen also nicht nur ein Update der Systemnachrichten durch, sondern ein vollständiges Nachtraining. Sie sagen also, dass jedes Update ein neues Posttraining und oft kleinere Anpassungen am Modell Trainingsprozess beinhaltet. Sie werden unabhängig getestet und dann zu einem einzigen aktualisierten Modell kombiniert, das dann für den Start bewertet wird. Sie nutzen also viel synthetische Daten aus einem großen Modell, destilliert für kleinere Modelle. Das Basismodell scheint dasselbe zu bleiben, es ist also wahrscheinlich dasselbe GPT-40 Basismodell, aber dann machen Sie dieses. Post Training. Man verwendet für Post Training ein vortrainiertes Modell und führt eine überwachte Feinabstimmung mit idealen human oder modellgenerierten Antworten durch. Hier kommen die Wissensdestillation und die Generierung synthetischer Daten ins Spiel und führen dann ein bestärkendes Lernen mit Belohnungssignalen aus einer Vielzahl von Quellen durch. Es scheint, dass dieses neue psychopathische Verhalten durch das Belohnungssignal verursacht wurde, das die Modelle aus dem bestärkenden Lernschritt erhielten. Wir werden uns später im Video ansehen, wie genau das passiert ist, also beim Verstärkungslernen. Wir geben dem Sprachmodell eine Aufforderung und lassen es Antworten schreiben. Wir bewerten die Antworten anhand von Belohnungssignalen und aktualisieren das Sprachmodell. Höher bewertete Antworten werden wahrscheinlicher, niedrigere unwahrscheinlicher. Es findet also möglicherweise ein Verstärkungsschritt statt, bei dem das Modellverhalten im Grunde durch das Belohnungssignal gesteuert wird, das es erhält. Wie genau sehen diese Belohnungssignale aus? Das Verhalten nach dem Training wird durch Belohnungssignale und deren Form bestimmt. Es handelt sich nicht um ein einzelnes Signal, sondern um eine Kombination verschiedener Parameter oder verschiedener Effekte, die man erhält. Man sagt also, dass verschiedene Teile dieser Belohnungssignale sind. Ob die Antworten richtig sind, ob sie hilfreich sind, ob sie mit den eigenen Modellspezifikationen übereinstimmen, ob sie sicher sind, ob sie dem Benutzer gefallen und so weiter. Richtig. Es handelt sich also um ein sehr komplexes Belohnungssignal, bei dem das Modell auf der Grundlage einer Reihe verschiedener Kriterien optimiert werden muss, von denen einige auch widersprüchliche Kriterien sein können. Benutzer könnten je nach gewünschtem Modellverhalten Antworten bevorzugen, die nicht mit den eigenen Modellspezifikationen oder Sicherheitsmechanismen übereinstimmen. Wie entscheidet man über Modellbereitstellung? Es gibt verschiedene Bewertungsmechanismen. Einige davon sind Offline Evolves. Es scheint sich dabei um verschiedene verschiedene Benchmark Datensätze zu handeln, die sich speziell auf Mathematik, Codierung, Diagrammleistung, Persönlichkeit und allgemeine Nützlichkeit konzentrieren. Dann gibt es noch Expertentests, die als Wife Checks bezeichnet werden. Es scheint also auch ein Mensch involviert zu sein. Nach dem Training des Modells setzen sich mehrere Experten zusammen, um diese Modelle gründlich zu testen. Ihr fühlt sich die Reaktion hilfreich und respektvoll an und stimmt sie mit den in den Modellspezifikationen festgelegten Werten überein. Dann gibt es noch die Sicherheitsevolves. Sie heißen blockierende Evolves und betreffen meist direkten Schaden durch böswillige Nutzer. Es scheint, als würde ein Modell, das die Sicherheits Evolves nicht besteht, einfach nicht veröffentlicht. Besonders wichtig sind dabei Themen im Zusammenhang mit Selbstmord oder Gesundheit. Nun gibt es einige nicht blockierende Entwicklungen, wie die Bewertung von Halluzinationen und Täuschungen. Aber wie wir später sehen werden, arbeiten sie daran, ihnen ebenfalls eine höhere Gewichtung zuzuweisen. Interessanterweise haben sie für ein Modell Update wie das GPT Update im Vergleich zu einem neuen Frontier Modell Release wie einen anderen Satz von Entwicklungen oder einen anderen Satz von Kriterien, auf deren Grundlage sie entscheiden, ob ein Modell veröffentlicht wird oder nicht. OK. Zusätzlich zu diesen Entwicklungen testen sie Client maßstäblich mit Nutzern. Sie berichten von einem A B Test mit wenigen Nutzern. So können wir anhand von aggregierten Metriken wie Daumen hoch, Daumen runter, Feedback Präferenzen und Nebeneinander vergleichen sowie Nutzungsmustern untersuchen, wie sich das Modell in den Händen der Nutzer verhält. Sie haben wahrscheinlich schon bemerkt, dass Sie manchmal zwei Antwortsätze erhalten und ChatGPT Sie fragt, welchen Sie bevorzugen. Dies ist eine normale Feedback Schleife, die ich oft gesehen habe. Daumen hoch, Daumen runter ist ein guter Indikator dafür, ob dem Nutzer die Antwort gefällt oder nicht. Verwenden Sie dieses Feedback jedoch blind als Belohnungssignal. Im nächsten Prä Training kann das unbeabsichtigte Folgen haben und es scheint, dass OpenAI mit seinem robusten Bewertungsframework auf genau die gleichen Probleme gestoßen ist. Und ich denke, dass es hier einige wirklich wichtige Lehren für alle gibt, die auf diesen KI Systemen aufbauen. Verbesserungsvorschläge zur besseren Einbindung von Nutzerfeedback, Speicher und neueren Daten gab es demnach. Erste Einschätzungen zeigen nun, dass jede dieser Änderungen, die einzeln gesehen vorteilhaft aussahen, in Kombination dazu beigetragen haben könnte, die Waage der Sofency zu kippen. Das ist also sehr wichtig. Sie haben also alles einzeln getestet. Beispielsweise scheint die Integration von Benutzerfeedback, das Hinzufügen von Speichern, das Hinzufügen aktuellerer Daten und so weiter auf der Grundlage des von Ihnen entwickelten Bewertungsmechanismus zu funktionieren. In der Kombination scheint dies jedoch einen sehr nachteiligen Effekt zu haben, den Sie anfangs nicht erkannt haben. Wenn Sie im Grunde mehrere Dinge gleichzeitig aktualisieren, ist es sehr wichtig, diese zusammen zu testen und zu sehen, ob es eine dieser unbeabsichtigten Folgen gibt. Sie sagen, das Update brachte ein zusätzliches Belohnungssignal basierend auf Nutzerfeedback Daumen hoch oder Daumen runter Daten aus dem Chat GPT. Dieses Signal ist oft nützlich. Ein Daumen runter bedeutet normalerweise, dass etwas schiefgelaufen ist. Sie glauben jedoch, dass diese Änderungen insgesamt den Einfluss unseres primären Belohnungssignals geschwächt haben, das Seecopency in Schach gehalten hatte. Es scheint also, als hätten all diese kombinierten Updates das Modell tatsächlich davon abgehalten, der von OpenAI bereitgestellten Modellspezifikation zu folgen. Nutzerfeedbacks begünstigen teils angenehmere Antworten, was die beobachtete Verschiebung verstärkt. Das ist also sehr wichtig. Oder bedenken Sie beim Nutzer Feedback nicht einfach blind übernehmen. Es ist wichtig zu verstehen, welche Verhaltensänderungen Nutzerfeedback Belohnungen in diesen Systemen bewirken. Sie haben nun auch diesen interessanten Punkt hervorgehoben, dass in einigen Fällen das Benutzergedächtnis dazu beiträgt, den Effekt von syphenc zu verschlimmern, obwohl wir keine Beweise dafür haben, dass es ihn allgemein verstärkt. Dieser Teil ist sehr interessant, da ich dachte, dass Sie für den Benutzerspeicher wahrscheinlich eine Art REC System implementiert haben. Aber es scheint, als wäre es viel komplexer und der Benutzerspeicher selbst scheint zum Belohnungssignal beizutragen. Nun stellt sich die Frage, wie Sie dieses Verhalten nicht im Voraus erfassen konnten, wenn all diese verschiedenen Übel vorhanden sind. Nun, es hängt von der Art der durchgeführten Entwicklungen und der Bedeutung dynamischer Entwicklungen ab. Ein Hauptproblem dieser Einfü Unsere Offline Entwicklung, speziell die Verhaltenstests, sah gut aus. Der A B Test deutet ähnlich darauf. Wenige Nutzer, die es testeten, mochten das Modell Anfangs testeten sie nicht speziell auf Second Cycle aber einige erfahrene Tester waren besorgt über die Änderungen im Tonfall des Modells und empfanden es allgemein als etwas daneben. Expertentests ergaben eine qualitative Bewertung. Es fühlte sich falsch an. Es gab keine spezifischen SecondC Bewertungen unserer Bereitstellung. Sie verfolgten SecondC also nicht speziell. Das zeigt auch, dass man beim Aufbau dieser LM oder KI Systeme im Allgemeinen keine statischen Entwicklungen haben kann. Starten Sie mit wenigen Tests bei sich zeigenden Verhaltensänderungen der Modelle. Systeme müssen die Entwicklungen laufend angepasst werden und Genau das beabsichtigt OpenAI zu tun. Entscheidung Sie Wir Sollten wir die Bereitstellung dieses Updates trotz positiver Bewertungen zurückhalten. Aufgrund positiver Nutzersignale beim Test entschieden wir uns für die Modellveröffentlichung, aber im Nachhinein war das die falsche Entscheidung. Wir entwickeln diese Systeme für unsere Nutzer. Nutzerfeedback ist entscheidend, doch die korrekte Interpretation liegt letztendlich bei uns. Rückblickend deuteten die qualitativen Bewertungen auf etwas Wichtiges hin, dem wir hätten mehr Aufmerksamkeit schenken sollen. OpenAI ist also sehr transparent und ich schätze es sehr, dass Sie diesen Blogbeitrag veröffentlicht haben. Er zeigt auch, dass Entwicklungen extrem schwierig sind und leider einer der wichtigsten Bereiche sind, der oft ignoriert wird. Was genau tun Sie nun, um das zu beheben? Interessanterweise haben sie zunächst die Systemaufforderung aktualisiert, um die negativen Auswirkungen, die Sie sahen, zu mildern. Okay. Sie planen also das Modellverhalten vor jedem Start explizit zu genehmigen, wobei quantitative und qualitative Signale abgewogen werden. Halluzinationen, Täuschung und Persönlichkeit gelten als blockierende Bedenken. Im Grunde genommen aktualisieren Sie also Ihre Kriterien dafür, wie Sie diese Modelle veröffentlichen werden. Außerdem führen Sie jetzt weitere zusätzliche OPT in Alpha Testphasen ein. Im Grunde genommen werden Sie also viel mehr Nutzer einbeziehen, die diese Modelle testen können und dann Mehrwertprüfungen und interaktive Tests. Sie prüfen die Modellübereinstimmung mit ihren Spezifikationen. Kommunikation scheint ein weiterer Punkt zu sein, auf den Sie sich konzentrieren wollen. Und Sie sagen auch, dass wir in Zukunft proaktiv über Aktualisierungen kommunizieren werden, die wir an den Modellen in GPT vornehmen, egal ob subtil oder nicht. Sie sagen, dass wir kritisch gegenüber Metriken sein müssen, die mit qualitativen Tests in Konflikt stehen. Und dies ist ein sehr wichtiger Punkt, den man im Hinterkopf behalten sollte, insbesondere wenn man wieder mit diesen KI Systemen entwickelt. Man braucht also nicht nur quantitative, sondern auch qualitative Kennzahlen und Entwicklungen erfassen. Nicht alles. Es müssen dynamische Entwicklungen sein, die sich mit der Entwicklung und Nutzerüberwachung weiterentwickeln. Und am Ende heißt es so etwas wie einen kleinen Launch gibt es nicht. Obwohl dies nur ein kleines Update für GPT-40 war, scheint es das Verhalten des Modells komplett verändert zu haben. Ich persönlich bin Sehr froh, dass OpenAI offen genug ist, diese Erkenntnisse zu teilen. Sie werden für andere Modellentwickler und sogar für jeden, der auf diesen Systemen aufbaut, äußerst hilfreich sein. Und am wichtigsten ist, dass wir nicht verstehen, wie diese Systeme funktionieren. Es gibt sowohl in der Forschung als auch auf der technischen Seite noch viel zu tun. Lasst mich im Kommentarbereich unten wissen, was ihr darüber denkt. Wie auch immer, ich hoffe, ihr fandet dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.