OpenAI Finally Admits It "We've Achieved AGI"

Vaad Kashimi, ein Doktor der maschinellen Lerntechnologie und technischer Mitarbeiter bei OpenAI, erklärte kürzlich auf X oder Twitter, dass man seiner Meinung nach AGI bereits erreicht habe. In dem Video geht es also darum, wie ein OpenAI Mitarbeiter öffentlich klargestellt hat, dass man seiner Meinung nach AGI bereits erreicht habe. Das ist eine ziemlich verrückte Aussage, denn das wäre ein Meilenstein. Ich denke aber, es lohnt sich, sie für die breitere Community zu entschlüsseln, damit wir wirklich verstehen, was hier vor sich geht. Er Meiner Meinung nach haben wir AGI bereits erreicht und bei wird das noch deutlicher und bezieht sich dabei auf das neuere Modell, das vor kurzem vollständig veröffentlicht wurde. Er Wir haben noch keine Aufgabe besser gelöst als jeder Mensch, aber bei den meisten Aufgaben sind wir besser als die meisten menschen. Manche sagen, LLMs wüsste nur, wie man einem Rezept folgt. Aber erstens kann niemand wirklich erklären, was ein Billionen Parameter Deep neuronales Netzwerk lernen kann. Aber selbst wenn man glaubt, dass sich die gesamte Wissenschaft Methode als Rezept zusammenfassen. Lässt, beobachten, Hypothesen aufstellen und überprüfen können gute Wissenschaftler auf der Grundlage ihrer Intuition bessere Hypothesen aufstellen. Aber diese Intuition selbst wurde durch viele Versuche und Irrtümer aufgebaut. Es gibt nichts, was man nicht anhand von Beispielen lernen könnte. Jetzt zerlegt er im Grunde, wie man Probleme löst und spricht darüber, dass man weiß, dass gute Wissenschaftler auf der Grundlage ihrer Intuition bessere Hypothesen aufstellen können. Aber natürlich haben sie bereits viele Versuche und Irrtümer durchlaufen und er sagt im Seht her, wir haben ein Modell erstellt, das so ziemlich gleich ist. Und obwohl dies vielleicht nicht bei jeder Aufgabe besser ist als jeder Mensch, ist es bei den meisten Aufgaben besser als die meisten Menschen. Dem stimme ich zu, Denn wenn man sich die Benchmarks Es ist ein ziemlich umfangreiches Modell. Diese Aussage, dass wir AJI bereits erreicht haben, wird natürlich für Verärgerung sorgen, denn ich weiß, dass einige Leute anderer Meinung sein werden und andere zustimmen werden. Ich möchte sie jedoch mit auf eine Zeitreise nehmen, in der Salmon tatsächlich sagte, dass AGI 2023 intern bei OpenAI erreicht wurde. Und ich denke, dieses Datum war wirklich sehr wichtig, denn ich erinnere mich, dass es zu dieser Zeit Leaks über Kista gab. Das ist natürlich das Modell, das derzeit in eingebettet ist. Ob AGI nun erreicht wurde oder nicht, könnten manche sagen, das sei Ansichtssache Aber vor kurzem hat der CEO von OpenAI tatsächlich erklärt, dass wir AGI im Jahr 2025 bekommen würden. Erinnern Sie sich an dieses Interview auf Y Combinator, in dem Sam Allman klar gesagt hat, dass er sich am meisten darauf freut. Worauf freuen Sie sich im Jahr 2025 Was wird kommen, AGI? Darauf freue ich mich. Und eines der verrücktesten Dinge, die Salmon kürzlich in seinem Interview mit dem die New York Times schrieb, dass AGI schneller kommt, als man denkt, aber dass es eine viel geringere Rolle spielen wird. Ich vermute, dass wir AGI früher erreichen werden, als die meisten Menschen auf der Welt denken, und dass es dann eine viel geringere Rolle spielen wird. Viele der Sicherheitsbedenken, die wir und andere geäußert haben, kommen tatsächlich nicht zum Zeitpunkt der AGI. AGI kann gebaut werden, die Welt dreht sich größtenteils genauso weiter, die Wirtschaft bewegt sich schneller, die Dinge wachsen schneller, aber dann gibt es einen langen kontinuierlichen Übergang von dem, was wir AGI nennen, zu dem, was wir Superintelligenz nennen. Und im Wesentlichen meint er hier, dass beim Denken ziemlich unglaublich gut ist. Wenn Sie die Benchmarks für gesehen haben, wissen Sie, dass diese Benchmarks ziemlich verrückt sind, denn das liegt deutlich über dem eines menschlichen Experten. Sie können hier auf der rechten Seite die Vorschau auf und bei Fragen auf Doktorandenniveau sehen. Die Leistung ist etwa auf dem Niveau eines menschlichen Experten, was eine ziemlich aussagekräftige Aussage ist. Und der Grund, warum ich dieser Meinung zustimme, ist, dass wenn ASI soweit ist oder wenn selbst wenn AGI hier vollständig ankommt, werden die meisten Menschen nicht darauf reagieren. Das liegt daran, dass ich nicht glaube, dass der Durchschnittsmensch einen wirklichen Nutzen für AGI hat. Wenn dieses Modell beispielsweise wirklich komplexe und fortgeschrittene Mathematik beherrscht, betrifft das den Durchschnittsmenschen nicht wirklich. Deshalb wird es auf gesellschaftlicher Ebene eine viel geringere Rolle spielen, wenn wir es erreichen. Natürlich wird es einige Folgeeffekte geben, die in andere Technologien eingebettet werden, aber ich glaube nicht, dass der Durchschnittsmensch wirklich etwas mit naturwissenschaftlichen Fragen auf Doktorandenniveau, Wettbewerbsmathematik oder sogar Wettbewerbscode anfangen kann. Ein weiterer Hinweis darauf, dass wir AGI tatsächlich sehr nahe kommen könnten, ist natürlich die Tatsache, dass Microsoft seinen Vertrag mit OpenAI aushandeln wird. OpenAI ist es, die die Klausel über AGI aus ihrem Microsoft Vertrag streichen wollen, um mehr Investitionen zu fördern, und wenn Sie mit diesem Vertrag nicht vertraut sind. Im Grunde genommen handelt es sich um einen vertrag, in dem OpenAI etwas verankert hat, das im Grunde besagt, dass sie, sobald Sie etwas erreichen AGI. Microsoft hat keinen Zugriff mehr auf diese Technologie. Und das ist natürlich etwas, das sie ändern wollen, weil sie zusätzliche Mittel benötigen, um das Unternehmen am Laufen zu halten. In diesem Artikel sprechen sie darüber, wie OpenAIAGI definiert, nämlich als ein hochautonomes System, das Menschen bei den wirtschaftlich wertvollsten Arbeiten übertrifft. Und diese Definition ist wichtig, weil sie von OpenAI festgelegt wird. Derzeit heißt es im Bericht, dass der Vorstand von OpenAI die Optionen noch bespreche und noch keine Entscheidung getroffen wurde. Sam Allmann ist jedoch weiterhin optimistisch, dass das Unternehmen AGI in naher Zukunft erreichen wird. Ehrlich gesagt glaube ich, dass sie in dieser Hinsicht absichtlich vage bleiben. Auf diese Weise können sie die Definition von AGI wirklich so verbiegen und umformen, dass sie bei Bedarf zusätzliche Mittel von Microsoft erhalten können. Und wenn Sie diese Mittel nicht benötigen, können Sie schnell okay, wir haben AGI noch nicht erreicht oder wir haben AGI erreicht. Und dann können Sie natürlich mit das Wenn Sie sich erinnern, habe ich vor drei Wochen tatsächlich darüber gesprochen, wie neue Forschungsergebnisse beweisen, dass KI erreicht wurde. Und im Grunde habe ich in diesem Video darüber gesprochen, wie es mit Forschern gelungen ist, eine hochmoderne öffentliche Validierungsgenauigkeit von 61,9 Prozent zu erreichen, die dem durchschnittlichen menschlichen Wert entspricht. Und dann habe ich in diesem Video im Grunde gesagt, dass die KI Community vielleicht unwissentlich die AGI Schwelle überschritten hat, was sich tatsächlich auf ein Paper mit dem Titel Die überraschende Effektivität des Test Time Trainings bezog. Und es geht tatsächlich auf die Details ein, wie der ARC Benchmark einer der schwierigsten Benchmarks ist. Aber dennoch haben sie es geschafft, bei diesem Benchmark die menschliche Leistung zu erreichen. Und das ist wirklich wichtig, weil dieser spezielle Benchmark so konzipiert ist, dass er gedächtnisresistent ist. Nun haben einige Personen von diesem Benchmark tatsächlich das jüngste Paradigma kommentiert und das Paradigma ist wohl eines der verrücktesten Paradigmen, weil es seiner Meinung nach das innovativste ist, das wir seit GPT-2 hatten. Und das ist eine sehr tiefgreifende Aussage, weil sie bedeutet, dass alles, was passieren wird, was danach kommt, wird in puncto Technologie ziemliche Auswirkungen haben. Hier sagt er tatsächlich, dass die beiden Vorläufer von ADI, die Testzeitberechnung und die Fähigkeit, diese Informationen wieder in das Modell zu integrieren, in KI Modellen verwendet werden, die diese die Schwelle zur allgemeinen Intelligenz überschreiten lassen könnten. Ich glaube wirklich, dass die größte Verbesserung der Generalisierungsleistung ist, die wir in einem kommerziellen Modell seit GBD gesehen haben. Diese Idee, eine Testzeitsuche durchführen zu können, bei der das Modell nicht nur eine Denkmaschine generieren kann, sondern mehrere und diese durchsucht, indem es Backtracking betreibt, ermöglicht es diesen Modellen, den Situationsraum um die Eingabeaufforderung herum vollständiger zu navigieren, die der Benutzer erhalten hat. Nun gibt es meiner Meinung nach eine Debatte darüber, ob es sich um AGI handelt. Und ich würde sagen, nicht. Ich denke, es gibt eine Sache, die wirklich fehlt, die es konzeptionell daran hindert, AGI zu erreichen, zumindest nach dieser Definition, die ich gerade genannt habe, nämlich, dass es immer noch mit der Prä Training Distribution arbeitet, mit der es im Grunde trainiert wurde. Und wissen Sie, Sie haben das so gemacht, dass sie und erzeugte viele synthetische Gedankenänderungen über formale Bereiche wie Mathematik, Code und Programmierung und ähnliche Dinge. Wahrscheinlich gab es auch informelles Vortraining Dinge wie die Aufschlüsselung der Gold Teil Ziele, die von Menschen bewertet wurden. Sie verwenden dieses Signal als Belohnungssignal für das Vortraining. Sie sind jedoch immer noch grundsätzlich durch die Daten eingeschränkt, die hier in das Vortraining eingegeben werden. Und ich denke, um die Einschränkungen Ihrer Architektur, zumindest Konzept ausreichend zu lockern, benötigen Sie beide eine Form von Testzeitsuche, wie sie tut, wie Sie viele der Top Scorer bei unserem Preis tun. Und Sie müssen in der Lage sein, Informationen aus der Testzeit wieder in Ihr Modell zu integrieren und weiterzuführen. Richtig. Sie müssen in der Lage sein, sozusagen mit der Realität in Kontakt zu treten und daraus zu lernen, anstatt jedes Mal neu daraus lernen zu müssen. Wenn wir uns das tatsächlich ansehen, ist es natürlich ziemlich verrückt, denn wenn jemand vom ARK Benchmark sagt, dass wir keine AGI haben, aber auf dem Richtigen Weg sind, ist das immer noch ein sehr gutes Zeichen. Jetzt selbst wenn, wenn wir zum jetzigen Zeitpunkt noch keine AGI haben, denke ich trotzdem, dass die Technologie große Auswirkungen haben wird. Denn wenn wir uns ansehen, wie sie skaliert, wissen wir, dass sie im Grunde nicht aufzuhalten ist. Hier sehen Sie Numero Braun, die Person, die bei OpenAI an der Argumentation gearbeitet hat, und Sie sprechen tatsächlich darüber, dass diese Skalierung so gut wie nicht aufzuhalten ist. Es scheint, dass die Genauigkeit dieser Benchmarks umso höher ist, je mehr Rechenleistung wir hinzufügen.

Ich komme jetzt zu Dies ist eine Zahl, die wir in unserem Forschungsblogbeitrag veröffentlicht haben. Auf der x Achse haben Sie die Testzeit auf einer logarithmischen Skala und auf der y Achse die Genauigkeit auf der ARM. Dies ist die Qualifikation für das US amerikanische Mathematik Olympiade Team. Es ist ein sehr schwieriger Mathetest. Alle Antworten sind ganze Zahlen und Sie können sehen, dass mit der Erhöhung der Testzeit und Inferenzberechnungen in die Genauigkeit in dieser Prüfung von 20 Prozent auf über 80 Prozent steigt. Und es gibt tatsächlich keine Anzeichen dafür, dass dies aufhört. Ich meine, es wird natürlich nicht über 100 Prozent hinausgehen, aber es scheint, als ob Sie bei einem weiteren Schritt noch bessere Ergebnisse bei dieser Prüfung erzielen würden.

Meine Frage an Sie lautet nun glauben Sie, dass wir AGI tatsächlich so weit erreicht haben, wie diese Person, die bei OpenAI arbeitet, gesagt hat, dass sie AGI bereits erreicht hat? Ich persönlich denke, es steht 50 50. Ich denke, wir sind zu 70 Prozent auf dem Weg dorthin. Ich denke, wenn wir es schaffen, ein System zu entwickeln, das tatsächlich in Echtzeit interagieren und aus seinen Fehlern lernen kann, wird das eine ganz andere Hausnummer. Und ich denke, wir werden das definitiv möglicherweise bei O oder sogar O sehen. Ich denke, selbst wenn man bedenkt, dass dieses neue Paradigma eröffnet wird, werden die Dinge etwas schneller vorangehen, weil diese Unternehmen definitiv erkennen, was auf dem Spiel steht.