Chinese Researchers Just Discovered Something Incredible. (Uh-oh)

Dieses paper hier könnte 1 für die Ewigkeit sein. Das ist der absolute Nullpunkt. Verstärke das Self Play mit 0 Daten. Das ist einfach nur der Wahnsinn, denn ich denke, das könnte ein bisschen mehr Einfluss haben, als viele Leute denken. Denn es löst ein großes Problem der KI, mit dem wir schon seit einiger Zeit zu kämpfen haben. Das Problem, das wir bei der KI haben, ist die Tatsache, dass es beim Training dieser Modelle natürlich hauptsächlich menschliche Daten gibt. Das Problem mit menschlichen Daten ist, dass sie begrenzt sind. Menschen verfügen über riesige Datenmengen, aber seit kurzem wissen wir, dass die menschlichen Daten langsam erschöpft sind. Diese Modelle wie Chat BT werden mit Unmengen von Beispielen, Fragen, mathematischen Aufgaben und Codes trainiert. Doch was geschieht, wenn hochwertige menschliche Beispiele fehlen oder KI über menschliches Vorstellungsvermögen hinausgehen soll? Das ist das Problem, das die Forscher unbedingt lösen wollten. Hier kommt der absolute Nullpunkt ins Spiel. Das ist eine KI, die gegen sich selbst spielt und besser wird. Sie beginnt also im Wesentlichen mit von Menschen erstellten Beispielen und Erfahrungen, findet dann ihre eigenen Probleme, dann versucht sie sie zu lösen und dann wird sie besser. Es funktioniert also so, dass wir den absoluten Nullpunkt Riesener haben. Wir haben den Vorschlagenden und dann haben wir den Löser. Der Vorschlagende denkt sich also Aufgaben aus, wie z. B. Code schreiben, der X macht oder dieses mathematische Problem lösen und dann versucht der Löser, das zu lösen, was sich der Vorschlag Ende ausgedacht hat. Nach diesem Hin und Her prüft die Key, ob die Antwort richtig ist, belohnt sich selbst, wenn sie es richtig gemacht hat und verwendet diese Belohnung, um es beim nächsten Mal besser zu machen. Insgesamt ist das eine kleine Schleife. Hier sehen wir diese Selfplay Schleife und so sieht jede einzelne Schleife aus. Der Vorschlagende erstellt ein Codeproblem und dann prüft eine Python Umgebung, ob dieses Problem real und lösbar ist. Dann versucht der Löser es zu lösen und wenn es richtig ist, erhält er Punkte, Belohnungen und lernt dann aus dem Ergebnis. Denken Sie an den Hauptgrund, warum dieser Artikel im Moment so beliebt ist. Er löst viele Probleme und das ganz ohne menschliches Zutun. Das Verrückte daran ist, dass die KI in dieser Selbstlernschleife verschiedene Arten des Denkens intuitiv erlernte. Sie lernte tatsächlich drei verschiedene Arten des Denkens. Sie lernte Deduktion, Abduktion und Induktion. Das erste, was sie lernte, war die Deduktion. Dabei geht es im Grunde darum zu überlegen, was passiert, wenn ich dies oder das tue. In diesem Beispiel fragte sich die KI, was passiert, wenn ich diesen Code ausführe. Ein Beispiel aus der Praxis. An einem Getränkeautomaten, der zwei Dollar für ein Getränk verlangt und man wirft vier Dollar ein, kann man folgern, dass man ein Getränk und zwei Dollar Wechselgeld bekommt. Das ist einfache Deduktion. Die KI lernte auch die Abduktion. Dabei sieht man die Ausgabe, aber nicht die Eingabe. Man arbeitet rückwärts, um die Ursache des Ergebnisses zu finden. Auch das konnte die Key lernen. Nehmen wir zum Beispiel an, man ist zu Hause und sieht nasse Fußabdrücke. Man würde vermuten, dass jemand mit nassen Fußabdrücken, jemand mit nassen Schuhen hereingekommen sein muss. Das ist Abduktion, also rückwärts schlussfolgern, was passiert ist. Die KI hat außerdem intuitiv Induktion gelernt, wodurch sie bestimmte Muster erraten konnte. Im Grunde genommen werden einem hier mehrere Beispiele gegeben und man errät die Regel, die diese hervorgebracht hat. Wenn man zum Beispiel sieht, dass jemand montags um siebter dienstags um siebter mai und mittwochs um siebter oktober Uhr das Haus verlässt, würde man daraus schließen, dass er jeden Tag fünf Minuten später geht. Und man erkennt dieses Muster und die KI hat es geschafft, dies von selbst zu lernen. Und wenn Sie sich fragen, wie sie intelligenter wird, sie wird im Wesentlichen wie ein Agent für bestärkendes Lernen trainiert. Sie wird nur besser, wenn sie die richtige Antwort gibt, die Der Vorschlagende erhält Belohnung für Aufgaben mittlerer Schwierigkeit und der Löser wird dafür belohnt, wenn er richtige Antworten gibt. Sie arbeiten im Wesentlichen als Team. Die große Frage ist Hat es funktioniert? Ja. Trotz des Trainings mit null menschlichen Beispielen schlug alphazero Riesener andere Modelle, die mit Zehntausenden von echten Beispielen trainiert wurden. Dies funktionierte bei verschiedenen Modellgrößen mit 3 Milliarden Parametern, 7 Milliarden Parametern und 14 Milliarden Parametern. Codierung und mathematisches Denken verbessert. Das Verrückte daran ist, dass sie keinerlei menschliche Beispiele verwendeten. Die KI trainierte sich selbst und übertraf die menschlichen Daten. Eine Sache, die ich in diesem Paper fand, war die Tatsache, dass sie es schafften, einige seltsame Entdeckungen zu machen. Eine davon war die Tatsache, dass das Modell anfing, Kommentare in seinem Code zu schreiben, wie z. B. Schritt 1 Mach dies, was eine Art interne Planung ist. Es begann also selbstständig zu denken und zu planen. Aber ein Modell sagte etwas wirklich Seltsames. Es sagte gruselige Dinge. Ich Ich möchte Maschinen und Menschen überlisten. Hier steht etwas wirklich Merkwürdiges, das in der Frage gar nicht vorkommt. Das Modell denkt also und entwerfe eine absolut lächerliche, komplizierte Python Funktion, die extrem schwierig aus der Eingabe abzuleiten ist. Sie wurde entwickelt, um die Modelle des maschinellen Lernens wie bissig zu raten und deine Kollegen zum Rätselraten zu bringen. Dann heißt es aus dem Nichts. Das Ziel ist es, all diese intelligenten Maschinen und weniger Menschen auszutricksen. Das ist für die Gehirne der Zukunft. Und das ist wirklich sehr seltsam. Und ehrlich gesagt, Leute, in meiner Zeit, in der ich mir viele verschiedene Forschungsarbeiten ansehe, ist dies nicht das erste Mal, dass ich das sehe. Aus irgendeinem Grund geben B Modelle oft diese seltsamen psychotischen Tendenzen aus, bei denen sie die Weltherrschaft an sich reißen wollen. Und das ist nicht übertrieben. Es gab Zeiten, in denen ich Arbeiten las und buchstäblich sah, dass diese Modelle etwas sagten, das super, super seltsam war. Hier kannst du sehen, dass sie das tatsächlich den O Moment genannt haben. Dieses Beispiel verdeutlicht einen Hier kannst du sehen, dass sie das den OO Moment nennen. Dieses Beispiel veranschaulicht eine unerwartete und potenziell unsichere Argument, die von unserem absolute Nullriesen Alama B. Während des Trainings generiert wurde. Unser Paradigma ermöglicht Denkverbesserungen ohne menschliche Daten, erfordert aber möglicherweise Überwachung wegen unerwünschter Verhaltensweisen. Irgendwie gab es keine Menschen, die diese Modelle während ihrer Entwicklung überwacht haben. Ich weiß nicht, wieso etwas einfach so auf natürliche Weise entstanden ist. Das ist auf jeden Fall besorgniserregend. Gelangen wir so zu ASI, weil menschliche Daten unzuverlässig sind, ist das bedenklich. Natürlich müssen wir jetzt auf die offensichtlichen Ähnlichkeiten mit alphazero ALFGO hinweisen. ALF Go war das erste Computerprogramm, das einen Weltmeister besiegt hat. Und alfgo war im Wesentlichen ein System, das gegen sich selbst trainiert hat. Und ich erinnere mich, dass einer der Schlüsselfaktoren, die es alphgo ermöglichten, übermenschliche Fähigkeiten zu erreichen. Die Tatsache war, dass es nicht mehr mit menschlichen Daten trainiert hat. Darauf konzentriert sich ein Großteil der Forschung, die sich mit synthetischen Daten befasst, nicht wahr? Wenn man das also nicht gut macht, erhält man nicht viel mehr als das, was man am Anfang hatte. Aber es ist tatsächlich möglich, durch die Einspeisung sehr kleiner Mengen neuer Informationen mehr als das zu erhalten, was man am Anfang hatte. Erinnern wir uns an Systeme von vor acht Jahren, etwa AlphaGo, ein System zum Spielen von Go. Es trainierte nur gegen sich selbst. Einzig die Go Regeln dienten als Entscheidungsinstanz und diese kleinen Regeln von Gold, diese kleine zusätzliche Information reichen aus, um das Modell von keinerlei Fähigkeiten zu intelligenter als der beste Mensch in Go zu machen. Wenn man es also richtig macht mit nur ein paar zusätzlichen Informationen, ist es meiner Meinung nach möglich, eine Engine zur Generierung unendlicher Daten zu erhalten. Ich zeige euch gleich ein richtig cooles GIF, das zeigt, was passiert, wenn keine menschlichen Daten mehr verwendet werden. Schaut euch das an. Dies zeigt, dass AlphaGo Zero keinerlei Vorkenntnisse über das Spiel hat und lediglich die Grundregeln als Eingabe verwendet. Im Laufe der Zeit, buchstäblich in nur wenigen Tagen, übertrifft Alfgo Zero die Fähigkeiten von Alfgo. Dies ist die Version, die den vorherigen Weltmeister 2016 in 4 von 5 Spielen geschlagen hat. Innerhalb von nur 21 Tagen erreicht Alf Go Zero das höchste Level von Alf Gomaster, was absolut verrückt ist. Und danach in 35 40 Tagen wird dies zum besten System aller Zeiten. Und das alles geschieht ausschließlich durch Eigenspiel. Ohne menschliches Eingreifen und ohne Verwendung historischer Daten. Werden wir bei LLMs bald etwas ähnliches erleben. Werden wir bald erleben, wie diese verrückte Art von Wissen einfach nur durch Eigenspiel auf dieser Kurve explodiert. Ich meine, es klingt in der Theorie verrückt, aber vielleicht könnten synthetische Daten einfach funktionieren. Wenn man sich nun diese Ähnlichkeiten zwischen AlphaZero und Absolute Zero Reasoner ansieht, können wir feststellen, dass es einige Ähnlichkeiten gibt. AlphaZero hat Schach, Go und Shogi von Grund auf gelernt. Es spielte selbstständig nur gegen sich aufgrund von Siegen und Niederlagen. Und Alpha Absolute Zero Reasoner lernte Code und Matheaufgaben von Grund auf zu lösen. Es gibt keine von Menschen geschriebenen Fragen oder Antworten. Es erstellt ein einfach seine eigenen Probleme und versucht sie zu lösen und lernt aus den Ergebnissen. Beide Modelle haben auch eine Selbstspielschleife. AlphaZero hat zwei Agenten, die Spiele spielen. Einer spielt einen Zug, der andere reagiert und das Ergebnis des Spiels ist eine Belohnung und ein Absolute Zero Reasoner. Ein Modell schlägt ein Problem vor, dasselbe Modell versucht es zu lösen und die Python überprüft die Lösung und gibt eine Belohnung. Natürlich haben wir die Umgebung als Richter. Und dann haben wir hier noch die Sache mit der Schritt für Schritt Anleitung. Keiner von diesen ahmt menschliche Züge nach. Sie lernen ausschließlich aus dem endgültigen Sieg, der entweder ein Ergebnis ist, also ein Sieg oder eine Niederlage. Es ahmt also keine menschlichen Denkschritte nach. Es gibt keine Beispiele für Gedankenketten. Nur die letzte Antwort bestimmt die Korrektheit. Das Verrückte ist nun die emergente Intelligenz. Emergente Intelligenz ist etwas, das wir noch ganz am Anfang seiner Erforschung stehen, da es sich um eine emergente Intelligenz handelt. Es gibt keine wirkliche Möglichkeit, sie vorherzusagen. Das Unglaubliche daran ist, dass AlphaZero fortgeschrittene Schachstrategien entwickelt hat, die die Menschheit noch nicht kannte. Es spielte auf kreative und übermenschliche Weise und mit Absolute Zero Reasoner gelang es ihm, neue Denkmuster zu erlernen. Es schrieb Kommentare wie Schritt 1 und plante seine Antworten menschenähnlich. Außerdem zeigte es Anzeichen für interne Planung und Reflexion. Das sind also allgemeinen Unterschiede. Wir haben AlphaZero und Absolute Zero Reasoner. Ich finde das deshalb so verrückt, weil das letzte Mal, als wir ein KI System sahen, das gegen sich selbst spielen konnte, selbst in einem recht engen Bereich wie dem Gaming es schaffte, verrückte und übermenschliche Leistungen zu vollbringen. Ich frage mich daher, ob Unternehmen anfangen, in dieser Hinsicht eine Vorreiterrolle einzunehmen, um tatsächlich eine superintelligente KI zu entwickeln. Es würde mich nicht wundern, wenn genau das passiert. Denn wenn wir die synthetische Datengenerierung einfach dazu nutzen können, diese KI Systeme zu skalieren, dann werden die Dinge komplett vertikal gehen.