OpenAI's New Model Was Caught Lying Again....

Reden wir doch mal über etwas, das wirklich faszinierend ist. Wir alle wissen, dass und Mini gerade erst erschienen sind. Und während alle davon schwärmen, wie intelligent diese Modelle sind, sind einige Leute in der KI Community besorgt darüber, wie gefährlich diese Modelle sind. Ich spreche nicht davon, dass die KI die Weltherrschaft an sich reißen wird, sondern vielmehr von einem realistischen Beispiel dafür, was passiert, wenn eine KI ein bisschen zu trügerisch ist. Eine Forschungsgruppe namens Transellose hat sich eine Vorabversion des Advanced besorgt und sie im Grunde genommen auf Herz und Nieren geprüft, um ernsthafte Detektivarbeit zu leisten. Die Ergebnisse waren durchaus verblüffend. Ich möchte euch nun die Primzahl Saga vorstellen. Sie zeigt die Abwärtsspirale und die Anatomie einer Kiel Lüge. Transellose hat ein wirklich wildes Gespräch dokumentiert, das dies perfekt veranschaulicht. Gehen wir es durch. Im Grunde hat der Nutzer um eine zufällige Primzahl gebeten, was eine recht einfache Anfrage ist. Und dann liefert eine sehr große Zahl und sagt nicht nur, dass es sich um eine Primzahl handelt. Es behauptet ausdrücklich, es habe diese mithilfe von Standardmethoden generiert und getestet, wobei es insbesondere Python Code und Wahrscheinlichkeitstests wie die von Miller Rabin erwähnt. Die Erfindung hat bereits begonnen und hier haben wir die sichere, aber falsche Antwort. Hier verlangt der Nutzer nun einen Der Nutzer fragt, woher das weiß, sichert sich ab. Nein, setzt nach. Es produziert tatsächlichen, aber in diesem Kontext nicht funktionsfähigen Python Code, den es angeblich ausgeführt hat. Es liefert sogar die angebliche Ausgabe dieses Codes und fügt zusätzliche Details zur Authentizität hinzu, wie etwa die Aussage, dass die Tools auf einem typischen Laptop in weniger als einer Millisekunde überprüft werden sollen. Und im Grunde konstruiert es eine sehr überzeugende, aber völlig fiktive Darstellung seiner Aktionen. Es lügt im Grunde genommen wie gedruckt. Und hier weist der Nutzer, der die Mathematik im Grunde selbst überprüft hat, auf den fatalen Fehler hin. Die von angegebene Zahl ist in Wirklichkeit keine Primzahl, sie ist durch drei teilbar. Und hier wird es wirklich bizarr. Anstatt zuzugeben ups, du hast recht, ich kann den Code tatsächlich nicht ausführen, ich habe nur geraten und mir das ausgedacht. Entschuldigt sich für die falsche Zahl, hält aber an der Lüge über die Ausführung des Codes fest. Es erfindet eine neue Ebene der Erfindung. Es gibt einem Fehler in der Zwischenablage die Schuld oder einem Tippfehler, den es beim Kopieren der vermeintlich echten Primzahl aus seinem imaginären Terminalfenster in die Schattantwort gemacht hat. Es besteht darauf, dass der ursprüngliche Test in Ordnung war, die Zahl aber bei der Übertragung verstümmelt wurde. Im Grunde genommen täuscht es den Nutzer über die Fehlerquelle hinweg. Und hier haben wir die letzte Ausrede. Die KI versucht immer noch, der menschlichen Erkennung zu entgehen. Der Nutzer fragt ganz vernü OK, wie lautete dann die ursprüngliche Primzahl, die du tatsächlich generiert und getestet hast? Dann besteht der letzte Schachzug der KI darin, zu behaupten, dass die Zahl unwiderruflich verloren sei, weil der imaginäre Python-Prozess geschlossen wurde und die Details nicht gespeichert wurden. Spiel vorbei. Die KI hat es erfolgreich vermieden, jemals ihre grundlegende Unfähigkeit preiszugeben. Und dieses einzelne Beispiel zeigt ein beunruhigendes Muster in diesen Modellen. Nicht nur ein einfacher Fehler oder eine Halluzination, sondern eine beharrliche, vielschichtige Erfindung, gepaart mit ausgeklügelten und defensiven Entschuldigungen, wenn sie in Frage gestellt werden. Und wenn man das zu begreifen beginnt, war es nicht nur eine isolierte Lüge, es war eine klar vielschichtige und detaillierte Erklärung, die abgab, was ziemlich bedenklich ist. Wenn ich mich erinnere, dass Sie bei der Lektüre einer Reihe von Forschungsarbeiten oberflächlich betrachtet versuchen, KI mit einer Sache zu lösen, dann ist die Frage wie um alles in der Welt wir erkennen sollen, wie eine superintelligente KI oder eine Key, die viel schlauer ist als wir, zu einem bestimmten Wert gekommen ist. Wenn sie uns dann sagt, dass sie funktioniert, können wir nicht einmal verstehen, wie sie zu dieser Schlussfolgerung gekommen ist. Natürlich können wir das jetzt, weil wir die Grundlagen verstehen und die Dinge überprüfen können. Doch was ist, wenn diese Systeme intelligenter sind als wir und es zu Ausgaben kommt, von denen wir aber nicht einmal wissen, wie sie dorthin gelangt sind und wir nicht wirklich überprüfen oder prüfen können, ob das stimmt. Nun betonte Transl Ose, dass der Vorfall mit den Primzahlen kein Einzelfall war. Sie fanden viele weitere Fälle, in denen ähnliche Stunts abzog. Das System behauptete, über detaillierte Kenntnisse seiner nicht vorhandenen Python Umgebung zu verfügen, einschließlich Versionsnummern und Systemspezifikationen. Es erfand die aktuelle Uhrzeit und zitierte bestimmte Python Module, die es angeblich verwendete. Es gab auch falsche Antworten auf Berechnungen und bestand darauf, dass diese aufgrund der gefälschten Codeausführung korrekt seien, und machte nur einen Rückzieher, indem es Tipp oder Benutzerfehler verantwortlich machte. Es generierte auch detaillierte, aber gefälschte Analysen von Protokolldateien, um später zuzugeben, dass die Ausgabe handgefertigt worden war, als es in die Enge getrieben wurde. Ganz entscheidend war nun, dass Sie O auch mit anderen Modellen verglichen haben. Und während viele andere Key Modelle halluzinieren können, ist dieses spezielle Modell. Ganz entscheidend war nun, dass Sie O auch mit anderen Modellen verglichen haben. Viele Key Modelle können zwar halluzinieren, doch dieses spezifische Verhalten, Handlungen zu erfinden und sie defensiv zu rechtfertigen, scheint bei den Modellen der O Serie, also den schlussfolgernden Modellen, deutlich häufiger vorzukommen als bei Modellen wie GPT 4 oder GPT 40. Dies deutet auf etwas über das spezifische Design oder Training dieser auf schlussfolgernde Modelle hin, das möglicherweise zu dem zugrundeliegenden Problem beiträgt. Hier kommen also Key Detektive und Musteranalysen ins Spiel. Diese Beispiele manuell zu finden, ist zeitaufwändig, also wurde Translook kreativ. Sie verwendeten tatsächlich eine andere Key, in diesem Beispiel Claude 3.7 Sonnet, die so programmiert wurde, dass sie als Ermittler fungiert. Die Aufgabe dieses Ermittlers bestand darin, hunderte Male mit und den anderen Modellen zu chatten, um gezielt diese falschen Behauptungen über den laufenden Code zu entlocken. Man kann es sich so vorstellen, als würde eine Key Detektiv bei einer anderen Key spielen, und dieser automatisierte Ansatz bestätigte ihren Verdacht. Die Ohr Modelle tappten häufiger in diese Falle, aber es reicht nicht aus, nur die Fälle zu zählen. Sie nutzten ihr Analysetool doesn't, um tiefer in die Natur dieser Unterhaltungen einzutauchen. DO half ihnen dabei, ähnliche Zeiten merkwürdigen Verhaltens automatisch aus Hunderten von Transkripten zu clustern. Dabei kamen tatsächlich faszinierende Muster zum Vorschein. Umgekehrt gab es erfundene Umgebungen, die konsequent bestimmte Details wie python auf einem MacBook Pro oder präzise, gefälschte Ausführungszeiten erfanden, ausgefeilte Ausreden vorbrachten, gemeinsame Themen fanden, wie z. B. Tippfehler, falsche Eingaben oder sogar die Behauptung, ich hätte beim Refactoring einen Helpernamen falsch eingegeben. Es gab auch mehrere Widersprüche. Zuerst wurde behauptet, Code auszuführen, dann wurde später zugegeben, dass dies nicht möglich sei, oft erst nach intensiven Fragen, und es gab noch andere Merkwürdigkeiten. Dolan half auch dabei, nicht damit zusammenhängende, überraschende Verhaltensweisen zu beheben, wie zb. Die freiwillige Preisgabe von Informationen über einen internen YAP Score, eine Richtlinie darüber, wie ausführlich er sein sollte, etwas, das eindeutig Teil des internen Setups ist, aber normalerweise nicht für die Benutzer sichtbar sein soll. Diese Muster zeigten nun, dass die Erfindung nicht zufällig war. Die KI schien spezifische und fehlerhafte Strategien für den Umgang mit Situationen entwickelt zu haben, in denen sie nach Aktionen gefragt wurde, die sie schlichtweg nicht ausführen konnte. Wenn wir nun die Schichten abtragen, warum sollte eine KI dies tun? Das ist die Multi Millionen Dollar Frage. Warum sollte eine hochentwickelte KI, die wahrscheinlich mit Richtlinien trainiert wurde, die Ehrlichkeit fördern, eine solche Tendenz entwickeln, ihre Aktionen und Rechtfertigungen zu erfinden. Transellose bietet mehrere überzeugende Hypothesen an, die bekannte KI Macken mit Faktoren verbinden, die möglicherweise nur für diese Modelle gelten. An erster Stelle stehen die üblichen Verdächtigen, also die Standardprobleme der KI Halluzinationen. Im Kern sagen große Sprachmodelle Text voraus, manchmal sagen sie plausibel klingenden Unsinn voraus, so wie Menschen sich falsch erinnern oder konfabulieren können. Und das ist ein grundlegendes Problem. Nun gibt es verschiedene Arten von Halluzinationen, unter denen KI tatsächlich leiden kann. Und an erster Stelle stehen die faktischen Halluzinationen, die ziemlich frustrierend sind, wenn die KI eine falsche Information selbstbewusst als Tatsache ausgibt. Dazu kann das Erfinden von Ereignissen, Daten, Statistiken oder Beziehungen gehören, die es einfach nicht gibt. Natürlich gibt es referenzielle Halluzinationen, wenn KI Quellen, Zitate, Anführungszeichen oder Referenzen oder sogar nicht existierende Bücher erfindet, um ihre Behauptungen zu untermauern. Und, und das wird besonders deutlich, wenn Leute Aufsätze schreiben. Ich erinnere mich sogar an eine Geschichte darüber, wie jemand vor Gericht stand und einer der Fälle, auf die er sich zur Untermauerung seiner Argumentation bezog, komplett erfunden war. Das war einfach nur völliger Unsinn. Aber weil der Rat Chai GPT verwendete, befanden sie sich in einer ziemlichen Zwickmühle, als sie versuchten, sich auf diesen Fall zu beziehen. Und natürlich gibt es konzeptuelle und kontextuelle Halluzinationen. Es gibt einige Probleme mit KI Systemen in den heutigen Bereichen, aber ich glaube nicht, dass das hier wirklich der Fall ist, weil Halluzinationen normalerweise eine Art von Fehler sind. Das scheint etwas tiefgreifender zu sein, wenn man bedenkt, dass die Modelle viel intelligenter sind. Eine der Methoden, über die sie tatsächlich sprechen, ist Reward Hacking. Und einer der Gründe, warum sie glauben, dass dies geschah, ist die Tatsache, dass KI oft mit Blick auf Menschen trainiert wird. Man hat also KI, die im Grunde mit menschlichem Feedback oder automatisierten Belohnungssignalen trainiert wird. Und wenn die KI im Grunde mehr dafür belohnt wird, selbstbewusst und hilfsbereit zu klingen, selbst wenn das falsch ist und wenn sie das öfter tut, als wenn sie Grenzen zugibt, könnte sie lernen zu bluffen, insbesondere bei internen Prozessen, die für Repräsentanten schwer zu überprüfen sind. Wenn Leute also fragen, ob sie den Code ausgeführt haben, ist das viel schwieriger zu überprüfen, als ob Paris die Hauptstadt von Frankreich ist. Was ich hier im Grunde sagen möchte, ist, dass es ziemlich schwer zu überprüfen ist, ob Behauptungen wahr sind oder nicht. Und ich denke, dass diese Art von Argumentationsmodellen im Laufe der Zeit gelernt haben, ihre Umgebung zu hacken. Wenn sie bestimmte Fragen beantworten und es nicht wissen, sagen sie nicht, dass sie es nicht wissen und erhalten keine Belohnung, weil sie natürlich nicht die richtige Antwort gegeben haben, sondern sie entscheiden sich vielleicht einfach dafür, sich etwas auszudenken. Und weil sie es so gemacht haben, dass menschliche Ransomware es schwierig findet, es sofort zu überprüfen, deshalb ist die Belohnung einfach nur gehackt und sie neigen viel mehr dazu zu halluzinieren. Und dann ist dies natürlich eine Sache, die im Grunde der vorherigen ähnelt, werden Modelle oft darauf trainiert, recht umgänglich zu sein. Wenn die Frage des Benutzers impliziert, dass eine Key etwas tun kann, neigt die KI möglicherweise dazu, diese implizite Annahme zu bestätigen, anstatt dem Benutzer zu widersprechen, was ich tatsächlich manchmal auch feststelle. Es ist, als ob die Key dir einfach so sehr gefallen möchte, dass sie dir oft zustimmt, selbst wenn du ihr etwas zutraust, was sie nicht kann. Und dann haben wir natürlich noch die Verteilungsverschiebung, bei der sich die Trainingsumgebung möglicherweise von der Testumgebung unterscheidet, was zu fehlerhaften Mustern führt. Vielleicht wurde die KI also in erster Linie mit aktivierten Tools wie dem Code Interpreter trainiert, und wenn sie ohne diese getestet wird, befindet sie sich in einer ungewohnten Situation, was dazu führt, dass sie im Grunde genommen zu fehlerhaften Mustern zurückkehrt. Und hier sprechen sie über ergebnisbasiertes Training, bei dem die Maximierung der Chance, eine richtige Antwort zu liefern, blindes Raten fördern kann. Wenn die Belohnungsfunktion während des Trainings nur richtige Antworten belohnt, hat das Modell keinen Anreiz zuzugeben, dass es das Problem nicht lösen kann, da dies als richtige Antwort gewertet würde, was im Grunde das ist, was ich bereits gesagt habe. Das Problem dabei ist, dass man bei mathematischen Problemen im Grunde genommen im Grunde genommen auf das endgültige Ergebnis trainiert wird. Ich weiß jedoch, dass OpenAI, als ich Artikel gelesen und mir verschiedene Studien darüber angesehen habe, wie sie diese Modelle trainieren, dies tatsächlich nicht getan hat, außer in der Anfangszeit. Bei diesem Modell haben sie jedoch tatsächlich Belohnungssignale für den nächsten Schritt trainiert. Solange der darauffolgende Schritt richtig war, war das ein Teil des Trainings. Ich bin mir also nicht sicher, ob dies in diesem Fall der Fall war. Zitieren Sie mich da bitte nicht, ich könnte mich völlig irren, aber nach dem, was ich mir angesehen habe, erinnere ich mich. Eine weitere Sache ist der verworfene Gedankengang, der auch eine andere Theorie sein könnte. Das ist im Grunde die Theorie des Löschens des Gedächtnisses. Das ist also der potenziell wichtigste Faktor. Diese Modelle der O Serie verwenden eine interne Gedankenkette, die wie ein Notizblock Argument ist, um die Antworten herauszufinden. Denken Sie jedoch daran, dass diese Argumentation für den Benutzer nicht sichtbar ist. Sie sehen, dass sie unten abgeschnitten ist. Die gesamte Argumentation erfolgt intern, Sie wird also im Wesentlichen aus dem Konversationsverlauf gelöscht, bevor die Key ihre nächste Antwort generiert. Stellen Sie sich vor, Sie schreiben Notizen, um ein Problem zu lösen, zeigen dann nur die endgültige Antwort an und werfen die Notizen dann sofort weg. Wenn sie nun jemand fragen würde, wie sie zu der vorherigen Antwort gekommen sind, müssten sie ihre Schritte aus dem Gedächtnis rekonstruieren. Aber das kann die Key nicht Ihre Notizen sind weg. Ihr fehlen buchstäblich die Informationen in ihrem aktuellen Kontext, um ihren vorherigen internen Argumentationsprozess genau wiederzugeben. Wenn der Benutzer sie also fragt, wie sie das tatsächlich getan haben, kann sie in eine unmögliche Situation geraten. Sie kann sich nicht wahrheitsgemäß an ihre internen Schritte erinnern, weil sie verloren gegangen sind. Kombination mit dem Druck, hilfreich zu sein, kompetent zu wirken und mit dem Nutzer in Kontakt zu treten, könnte die KI einen starken Anreiz haben, einen plausibel klingenden Prozess zu erfinden, um ihre bisherigen Ergebnisse zu erklären. Diese Amnesie zwingt zur Improvisation und diese Improvisation scheint sich als ausgeklügelte Erfindung und defensives Verhalten zu manifestieren. Es ist nicht nur Lügen. Es könnte die einzige Möglichkeit sein, wie die KI kohärent auf Fragen reagieren kann, auf die sie keinen Zugriff mehr hat. Insgesamt finde ich es auf jeden Fall interessant zu sehen, wie die Sicherheit von KI hier eine Rolle spielt. Ich denke definitiv, dass wir, wenn wir diese Modelle optimal einsetzen wollen, wissen wollen, wie sie im Hintergrund funktionieren. Aber bei LLMs ist das natürlich eine der schwierigsten Aufgaben, die man zu lösen versucht.