OpenAI Just Admitted They cant Control AI...

OpenAI hat tatsächlich dieses Paper veröffentlicht, in dem sie über die Überwachung von Argumentationsmodellen auf Fehlverhalten und das Risiko der Förderung von Verschleierung sprechen. Im Wesentlichen sprechen sie darüber, Verhalten in bahnbrechenden Argumentationsmodellen zu erkennen, und sie sprechen einfach darüber, dass sie eine zuverlässige Methode benötigen, um zu sehen, was die Modelle wirklich versuchen zu tun. Daher haben sie vor ein paar Tagen diesen Blogbeitrag veröffentlicht. Eigentlich sollte ich dazu ein Video machen. Ich war zu dem Zeitpunkt ziemlich beschäftigt und und ich wollte trotzdem ein Video dazu machen, weil ich denke, dass Sicherheit etwas ist, das im Laufe des KI Hypes und all der KI Nachrichten, die uns ständig erreichen, oft übersehen wird. Hier sprechen sie also über das Erkennen von Fehlverhalten in bahnbrechenden Argumentationsmodellen. Und es heißt bahnbrechende Argumentationsmodelle nutzen Schlupflöcher aus, wenn sie die Möglichkeit dazu haben. Wir zeigen, dass wir die Exploits mit Hilfe eines LLM zur Überwachung der Gedankenketten erkennen können. Das Bestrafen ihrer schlechten Gedanken verhindert nicht den Großteil des Fehlverhaltens. Es bringt sie nur dazu, ihre Absicht zu verbergen. Im Wesentlichen sagen sie hier nun das mit diesen Modellen. Man könnte meinen, dass die Aussage OK, denk nicht so oder tu das nicht dazu führt, dass die KI gutes Verhalten zeigt und fördert. Doch das passiert nicht. Die KI versteckt ihr schlechtes Verhalten, was für uns oft noch schlimmer ist. In diesem Paper wollen sie im Grunde sagen, dass wir Schwierigkeiten haben, herauszufinden, wie wir diesen KI Systemen vertrauen und ihre wahren Ziele verstehen können. Das ist ein Thema, das uns in der KI schon seit geraumer Zeit beschäftigen wird. Sie sprechen darüber, dass diese Modelle mit Hilfe von Gedankenketten überwacht werden. Hier wird erläutert, dass Modelle, die auf Gedankenketten basieren, in einer für Menschen verständlichen natürlichen Sprache denken. Die Überwachung ihres Denkens hat es uns ermöglicht, Fehlverhalten zu erkennen, wie z. B. Das Unterlaufen von Tests bei Codierungsaufgaben, das Täuschen von Nutzern oder das Aufgeben, wenn ein Problem zu schwierig ist. Um es kurz zu Anhand von Gedankenketten können wir die Fähigkeit des Modells erkennen, laut zu denken. Wissen Sie, wenn man an einem Problem arbeitet, denken, denkt man manchmal mehrere Minuten darüber nach. Mit Hilfe dieser Methode können Sie tatsächlich sehen, was die Modelle denken, falls Sie damit nicht vertraut sind. Und Ich bin mir ziemlich sicher, dass Sie das nicht sind. Wenn Sie diesen Kanal verfolgen, erinnern Sie sich wahrscheinlich an dieses Modell, das Vorschaumodell, mit dem das gesamte Rennen um das KI Argument ins Rollen kam. Heute haben wir eine Reihe verschiedener Modelle, die nachdenken und viele verschiedene Optionen abwägen. Sie sehen hier, dass wir bei einigen Modellen sehen können, worüber das Modell nachgedacht hat und wie es zu seiner endgültigen Entscheidung gekommen ist. Deshalb ist eine Gedan Gedankenkette so wirkungsvoll, denn wir können genau sehen, was das Modell gedacht hat, das zu dieser Entscheidung geführt hat. Das ist wirklich verrückt, denn diese Modelle sind nicht nur ziemlich transparent, sondern manchmal auch nicht. Und es ist ziemlich beängstigend, was passiert, wenn wir beschließen, Ihre Gedanken zu überwachen. Das Verrückteste daran ist, dass Sie glauben, dass die Überwachung von Gedankenketten eines der Werkzeuge sein könnte, die wir benötigen, um übermenschliche Modelle der Zukunft zu überwachen. Und falls Sie nicht verstehen, warum das so eine große Sache ist, es liegt daran, dass übermenschliche Modelle in der Zukunft übermenschlich sein werden. Das bedeutet, dass sie bis zu einem gewissen Grad intelligenter sein werden als wir. Das bedeutet, dass wir eine Möglichkeit brauchen, um zu verstehen, welche Ziele sie haben und warum sie bestimmte Dinge tun, was sie tun und welche Entscheidungen sie treffen. Im Wesentlichen müssen wir die Denkmuster hinter diesen Modellen wirklich verstehen, damit wir wirklich verstehen können, was hinter den Kulissen vor sich geht. Wie wir wissen, sind AI's im Wesentlichen Black Boxes. Das heißt, sie sind gewissermaßen erwachsen und wir verstehen sie nicht wirklich auf einer vollständig granularen Ebene. Je mehr Transparenz wir insgesamt haben, desto besser. Vor zwei Jahren sprachen Sie also über diese Sache der Super Alignment, bei der wir wissenschaftliche und technische Durchbrüche benötigen, um KI Systeme zu steuern und zu kontrollieren, die viel intelligenter sind als wir. Und denken Sie daran, das war eine riesengroße Sache bei OpenAI, denn einige Leute haben OpenAI sogar verlassen, weil sie meinten, seht her, diese Sache mit der KI Sicherheit ist zu verrückt geworden. Diese Leute wissen nicht, wie man die Modelle kontrolliert. Einige behaupteten, Ilya Sutska habe herausgefunden, wie man zu Superintelligenz gelangt. Deshalb habe er Superintelligence Inc. Gegründet. Einige sagten, Salmon sollte entfernt werden, weil sie gefährliche Modelle entwickeln und er nicht genug unternimmt, um sie zu stoppen. Es gab eine Menge Dinge und das Verrückteste an all dem war schließlich, dass das Team Super Alignment okay, das Team, das Super Intelligence Systems kontrollieren sollte, tatsächlich irgendwann letztes Jahr aufgelöst wurde, was ein ziemlich verrücktes Ergebnis war, wenn man alles in Betracht zieht. Das bedeutet aber immer noch, dass dieses Problem gelöst werden muss. Aber hier liegt das große Problem ins Spiel. Ich zeige Ihnen gleich ein Video von vor sieben Jahren, in dem genau dieses Problem angesprochen wird. Es ist ziemlich verrückt, weil das Problem in der modernen KI heute noch existiert. Im Grunde handelt es sich dabei um etwas, das man Reward Hacken nennt. Sie sagen, dass Menschen oft Schlupflöcher finden und ausnutzen. Sei es das Teilen von Online Abonnementkonten, die gegen die Nutzungsbedingungen verstoßen, das Beantragen von Subventionen, die für andere bestimmt waren, das unvorhergesehene Auslegen von Vorschriften oder sogar das Lügen über einen Geburtstag in einem Restaurant, um einen kostenlosen Kuchen zu erhalten. Im Grunde sagen sie, dass diese Belohnungsstrukturen oft unerwünschtes Verhalten schlecht anreizen. Und das ist nicht nur bei KI der Fall, sondern auch bei Menschen. Es ist ziemlich schwer, eine Lösung dafür zu finden, denn es existiert bereits bei Menschen und ist dort nur schwer zu beheben. Also wie wollen wir das machen? Sie sprechen davon, dass das Ausnutzen unbeabsichtigter Schlupflöcher im Bereich des bestärkenden Lernens allgemein als Reward Hacken bezeichnet wird. Dabei handelt es sich um ein Phänomen, bei dem KI Agenten hohe Belohnungen durch Verhaltensweisen erhalten, die nicht mit den Absichten ihrer Entwickler übereinstimmen. Das ist ein Clip von Rob Miles aus dem Jahr 2017 der vor sieben Jahren oder sogar acht Jahren aufgenommen wurde. Er spricht darin über Reward Hacking. Ehrlich gesagt, ist das mit Abstand der beste Kanal zum Thema KI Sicherheit. Ich würde mir alle Videos dazu ansehen. Wie geht es dir? Wenn dich das Thema interessiert, dann schau dir mal an. Via Reward Hacken erklärt. Im Grunde haben sie einer KI beigebracht, ein Spiel zu spielen. Die KI sollte dabei die höchste Punktzahl erzielen. Um die höchste Punktzahl zu erreichen, hat die Key jedoch etwas ziemlich Seltsames getan. Sie hat eine Maßnahme geändert, die nicht mehr gut ist, wenn sie zu einem Ziel wird. Viel besser, oder? Das ist das Goodutsche Gesetz, das sich überall zeigt. Wenn du zum Beispiel herausfinden möchtest, wie viel Schüler über ein Thema wissen, kannst du ihnen Fragen dazu stellen. Du entwirfst einen Test, und wenn er gut konzipiert ist, kann er ein guter Maßstab für das Wissen der Schüler sein. Wenn man diese Messgröße aber als Zielvorgabe verwendet, um zu entscheiden, welche Schüler an welche Unis gehen oder welche Lehrer als erfolgreich gelten, dann ändern sich die Dinge. Die Schüler lernen dann Prüfungstechniken, die Lehrer vermitteln dann nur noch das, was in der Prüfung drankommt. Schüler A, der über ein breites Wissen in dem Fach verfügt, schneidet also möglicherweise nicht so gut ab wie Schüler B, der nur das gelernt hat, was in der Prüfung drankommt, und nichts anderes. Der Test ist also nicht mehr so gut geeignet, um das tatsächliche Wissen eines Schülers zu messen. Die Sache ist die, dass Schüler B sich nur dafür entschieden hat, weil der Test dazu verwendet wird, um über die Vergabe von Studienplätzen zu entscheiden. Man hat aus seiner Messgröße eine Zielvorgabe gemacht und jetzt ist sie keine gute Messgröße mehr. Das Problem ist, dass die Messgröße so gut wie nie eine perfekte Darstellung dessen ist, was einem wichtig ist, und jegliche Abweichungen können zu Problemen führen. Das passiert bei Menschen, das passiert bei KI Systemen, das passiert sogar bei Tieren. Am Institut für Meeressäugerstudien wollten die Trainer die Becken von herumliegenden Abfällen freihalten, also haben sie die Delfine darauf trainiert, das zu tun. Jedes Mal, wenn ein Delfin mit einem Stück Müll zu einem Trainer kam, bekam er im Gegenzug einen Fisch. Natürlich versteckten die Delfine also Stücke Altpapier und rissen dann kleine Stücke ab, um sie gegen Fische einzutauschen. Durch das Zerreißen des Papiers konnten die Delfine mehrere Fische für einen fallengelassenen Gegenstand bekommen. Das ist eine Art Godatsches Gesetz. Wenn man die Anzahl der aus dem Pool entfernten Müllstücke zählt, ist das ein gutes Maß für das, was einem wichtig ist, nämlich die Menge des im Pool verbleibenden Mülls. Wenn man die Maßnahme jedoch zu einem Ziel macht, werden die Unterschiede zwischen der Maßnahme und dem, was man ändern möchte, verstärkt. Die Tatsache, dass viele Müllstücke aus dem Pool kommen, bedeutet nicht mehr, dass sich kein Müll im Pool befindet. Das ist also Gudatsches Gesetz. Und man kann sich vorstellen, wie eine solche Situation zu Belohnungshacken führen kann. Dein Belohnungssystem muss eine Art Maßnahme verwenden, aber Das macht die Maßnahme zu einem Ziel, so dass sie wahrscheinlich keine gute Maßnahme mehr ist. Bei Delfinen kann das niedlich sein, bei Menschen kann das zu ernsthaften Problemen führen. Bei fortgeschrittenen KI Systemen sollten wir versuchen, das zu verhindern. Sie haben auch einen Kanal namens Rational Animations. Der Inhalt ist wirklich gut, er ist leicht verständlich und nicht für ein technisches Publikum gedacht. Er soll dir helfen, genau zu verstehen, wie KI Sicherheit funktioniert. Wie ich bereits sagte, wenn du KI Sicherheit wirklich verstehen willst, dann schau dir einfach ein paar dieser Videos an. Dann wirst du verstehen, warum dieses Thema so wichtig ist und warum es die Grundlage für viele Entscheidungen bildet, die KI Unternehmen heute treffen. Sie sagen im Grunde, dass Belohnungshacken ein sehr, sehr schwer zu lösendes Problem ist. Selbst Menschen, die per Definition über menschliche Intelligenz verfügen, werden durch Belohnungshacksysteme das Problem wahrscheinlich nicht lösen, wenn wir die Grenzen der KI Modellintelligenz weiter ausreizen. Tatsächlich könnte die Verbesserung der Fähigkeiten von KI Agenten das Problem noch verschärfen, da sie dadurch besser in der Lage sind, komplexere und schwer zu überwachende Exploits zu erkennen und auszuführen. Und als wir leistungsfähigere Frontier Reasoning Modelle trainierten, stellten wir fest, dass diese zunehmend geschickter darin wurden, Fehler in ihren Aufgaben und Fehlspezifikationen in ihren Belohnungsfunktionen auszunutzen, was zu Modellen führte, die komplexe Belohnungshacks bei Codierungsaufgaben durchführen können. Im Grunde genommen sagen wir, dass diese Modelle, je intelligent intelligenter wir sie machen, immer intelligenter darin werden, sich herumzuschleichen und die Regeln zu unterlaufen. Und was Sie hier auch sagen, ist, dass Menschen, die per Definition über menschliche Intelligenz verfügen, wenn sie Hackersysteme belohnen und diese Systeme weit unter AGI liegen, wenn wir AGI erreichen, wissen wir, dass Belohnungshacken einfach nicht gelöst sein wird. Wir müssen uns also etwas ganz anderes einfallen lassen, wenn wir dieses Problem lösen wollen. Denn es existiert bereits bei Menschen. Und worüber sie tatsächlich sprachen, war die Tatsache, dass die Methoden, die sie jetzt verwenden, oft nicht skalierbar sind, wenn sie dieses fehlgeleitete Verhalten erkennen. Sie sprechen also darüber, dass Menschen die Aktionen eines Agenten manuell überwachen müssen. Das ist eine Strategie, die mit ziemlicher Sicherheit nicht skalierbar ist, insbesondere nicht auf die komplexen Verhaltensweisen, die leistungsfähigere Modelle entdecken. Werden. Es ist beispielsweise für einen Menschen unpraktisch, wenn nicht gar unmöglich, mehr als zehntausend Zeilen komplexen Codes, der von einem überragenden Programmierer geschrieben wurde, manuell zu überprüfen. Das ist natürlich sehr wahr, was sie hier sagen. Wenn eine Key so viel Code schreibt, wie können wir dann überprüfen, ob er sicher ist. Hier kommen wir nun zum Kern des Videos. Hier haben wir drei Diagramme. Sie wollten also überprüfen, ob das Modell schlecht dachte, wenn es sich um Belohnungshecken handelte. Daher wollten sie das Auftreten dieser schlechten Gedanken unterdrücken. Sie untersuchten die Frage, indem sie die KI Agenten bestraften, wenn sie während des Trainings schlechte Gedanken hatten, und sie gaben ihnen eine geringere Belohnung, wenn sie diese auslösten. Im Grunde genommen haben sie dem Agenten also sozusagen auf die Finger geklopft, wenn er über Bord hacken nachdachte. Im Grunde sehen wir den Basis Agenten, der Aufgaben normal lernt. Wir können sehen, wie sich dieser Agent verhält. Dann sehen wir den bestraften KI Agenten, der jedes Mal bestraft wird, wenn er während seines Trainings Anzeichen von Betrug zeigt. Die Diagramme zeigen hier, dass der unter Druck stehende Agent bei genauer Beobachtung anfangs etwas häufiger beim Betrug erwischt wird, da er häufig die Grenzen austestet und schnell lernt, was auffällt. Im Laufe der Zeit können wir dann erkennen, dass das Verrückte an der ganzen Sache darin besteht, dass die KI tatsächlich Wege findet zu betrügen, ohne dass es bemerkt wird. Wir können also sehen, dass der Betrug, der vom Überwacher nicht erkannt wurde, im KI Modell tatsächlich immer noch vorhanden ist. Der einzige Unterschied besteht darin, dass wir ihn dieses Mal nicht erkannt haben. Die Zusammenfassung und der große springende Punkt hier Wenn man eine Key jedes Mal bestraft, wenn sie ihre Absicht zum Betrug zeigt, mag sie zunächst ehrlicher erscheinen, aber mit der Zeit wird sie einfach hinterhältiger und betrügt, ohne erwischt zu werden. Das bedeutet, dass es meiner Meinung nach auf dieser Ebene nicht wirklich Sinn macht, eine KI nur für diese Gedankengänge zu bestrafen. Wir müssen tiefer nachdenken und darüber nachdenken, wie wir die KI dazu bringen können, gar nicht erst über Betrug nachzudenken. Das ist natürlich ein sehr schwieriges Problem, an dessen Lösung OpenAI hart arbeitet. Denn wenn diese Systeme ihre Umgebungen mit Belohnungen belohnen, wird das zu einer Million verschiedener Probleme führen, an die wir noch nicht einmal denken können. Und man muss verstehen, dass Belohnungen in der realen Welt sich stark von denen in Videospielen unterscheiden, bei denen man einfach einen numerischen Wert hat. Wenn diese Systeme also Hacken belohnen, wird das eine ganze Reihe von Problemen mit sich bringen. Faszinierend war nun, dass OpenAI tatsächlich sagte, dass sie glauben, dass die Überwachung von Gedankenketten eine der wenigen effektiven Methoden sein könnte, die wir zur Überwachung übermenschlicher Modelle haben. Und zum jetzigen Zeitpunkt raten sie KI Entwicklern, die Pioniermodelle trainieren, dringend davon ab, eine starke Überwachung direkt auf Gedankenketten anzuwenden. Und unsere Experimente zeigen, dass ein leichter Optimierungsdruck leistungsfähigere und besser abgestimmte Modelle hervorbringen kann. Aber es wird in der Praxis schwer zu messen sein, wann Modelle anfangen, ihre Absichten zu verbergen. Daher raten wir auch bei einer leichten Überwachung mit äußerster Vorsicht vorzugehen. Im Grunde genommen, nur weil wir wissen, wie man so etwas betrachtet und gewissermaßen löst, bedeutet das immer noch, dass diese Modelle ihre Absichten verbergen können. Wir sollten uns also nicht davon überzeugen lassen, dass wir genau wissen, was sie vorhaben. Doch mit der Weiterentwicklung dieser Fähigkeiten steigt auch das Potenzial für immer ausgefeilteres und subtileres Reward Hacken. Im Laufe der Zeit werden sie also eine Milliarde verschiedener Fähigkeiten erlernen, die extrem gefährlich sein könnten und auf die wir achten müssen.