Game OVER? New AI Research Stuns AI Community.

Das Spiel ist vorbei. Das ist es, was dieser Tweet über die KI-Branche in Bezug auf LMS aussagt. Jetzt werde ich euch genau erklären, was los ist, denn dieser Tweet ist in der KI Community quasi viral gegangen und alles geht auf dieses KI Paper zurück, das ziemlich faszinierend ist, weil es uns einen Einblick gibt, wie Schlussfolgerungsmodelle wirklich funktionieren und wie die Zukunft der KI aussehen könnte. Ich werde es euch also auf eine einfache Art und Weise erklären, die die ihr verstehen könnt, damit ihr von diesen Neuigkeiten nicht verwirrt seid. Also ist es vorbei. Ist das wirklich das Ende für LLMs? Es gibt viele verschiedene Paper, die aus dem Nichts aufgetaucht sind und die Natur dieser Modelle in Frage stellen. Und das hier ist ein weiteres, das ihr beachten solltet. Lasst mich also ins Detail gehen. Bei diesem Paper mit dem Titel das Reinforcement learning really incentive reasoning capacity in LLMs beyond the base. Model geht es im Wesentlichen um die Frage, ob das Hinzufügen von Reinforcement Learning zu einem Modell, mit dem das Modell darauf trainiert wird, besser zu denken und Probleme zu lösen, das Modell tatsächlich intelligenter macht. In diesem Paper heißt es im Wesentlichen, dass das Modell dadurch nicht intelligenter wird. Ich erkläre euch jetzt mal ganz genau, was die Forscher gemacht haben. Schaut euch dieses Bild an, das euch die Ergebnisse dieses Papers näher bringen wird. Dann schauen wir uns an, wie das Ganze funktioniert. Was haben die Forscher also konkret gemacht? Sie haben zwei verschiedene Arten von KI Ein Modell normal trainiert das Basismodell, das ist also nur das Basismodell, an dem keinerlei Änderungen vorgenommen wurden, und eines trainiert mit extra Reinforcement Learning, das RLVR Modell. Nun haben sie beiden Modellen dieselben schwierigen Fragen gestellt. Dann haben sie getestet, wie viele richtige Antworten sie erhalten konnten, wenn sie die Kiels nur einmal versuchen ließen, wobei k 1 ist, oder wenn sie es mehrmals versuchen ließen. K ist also gleich 256 weil was im Grunde bedeutet, dass sie der KI 256 Versuche gaben. Was sie nun herausfanden, war ziemlich faszinierend. Sie stellten tatsächlich fest, dass das Reinforcement Learning Modell besser war, wenn es nur einen Versuch hatte. Wenn sie jedoch beide Modelle viele Versuche hatten, schnitt das normale Modell, also das Basismodell hier, das sie sehen, langfristig besser ab. Und das ist wirklich überraschend, weil Reinforcement Learning eines der wichtigsten Paradigmen dieser Argumentationsmodelle ist. Daher war es sehr interessant herauszufinden, dass das Basismodell die ohnehin vorhandenen Fähigkeiten tatsächlich besitzt. Was bedeutet das nun? Nun, im Wesentlichen besagt das Paper, dass Reinforcement Learning nicht wirklich neue Fähigkeiten vermittelt. Es hilft der KI nur schneller und besser zu raten, und anscheinend macht es die KI tatsächlich weniger neugierig. Sie untersucht also weniger Wege, um ein Problem zu lösen, und deshalb bleibt sie häufiger stecken, wenn das Problem schwieriger ist. In diesem Paper wird Destillation erwähnt, eine bessere Methode als Reinforcement Learning, um Modellen neue Fähigkeiten beizubringen. Lasst es mich euch noch genauer erklären. OK, das ist ein Bild, das Sie in dem Paper haben. Und hier seht ihr im Wesentlichen zwei Entscheidungsbäume. Ein Modell kann Probleme so lösen. Jeder Knoten auf diesem Faden ist ein Schritt in seiner Argumentation. Eins, das wir hier sehen können, bedeutet im Grunde, dass das Modell eine richtige Antwort hat, und O bedeutet, dass dass das Modell eine falsche Antwort erhalten hat. Das Basismodell ist nun das auf der linken Seite, also die ursprüngliche untrainierte Version. Das rechts ist dasselbe Modell mit Reinforcement Learning trainiert, das richtige Antworten belohnt. Die obere Reihe zeigt die effizientere Stichprobennahme. Hier erkundet das Basismodell viele Pfade, ist aber tatsächlich langsamer, um auf dem richtigen zu landen. Wir können sehen, dass es hier bis heruntergeht. Es durchläuft diese Bäume und alle diese Bäume und erreicht schließlich den Pfad, der der richtige ist. Beim Reinforcement Learning Modell hat es bereits gelernt, auf den Pfad zu zielen, der Belohnungen gibt. Es findet schneller richtige Antworten ein gutes Ergebnis, denn Reinforcement Learning beschleunigt die Suche nach guten Antworten. Hier haben wir nun Problem B, nämlich den eingeschränkten Umfang der Argumentationskapazität. Hier untersucht das Basismodell immer noch viele Argumentationspfade, von denen einer zur richtigen Antwort führt. Das Reinforcement Learning Modell hingegen, das darauf trainiert wurde, sich auf die lohnendsten Teile des Trainings zu konzentrieren, verfehlt dieses Mal die Antwort komplett. Das ist ein unglückliches Ergebnis. Als die Antwort hier war, hat das Modell, das darauf trainiert wurde, diesen Weg zu gehen, sie komplett übersehen. Das ist also leider ein schlechtes Ergebnis. Reinforcement Learning hat das Modell zu eng gefasst, so dass ihm einige richtige Antworten entgehen, die es früher finden konnte. Die Botschaft hier ist also, dass Reinforcement Learning die Effizienz steigert, schnellere Antworten, aber weniger Flexibilität. Das Modell untersucht weniger und übersieht vielleicht Lösungen. Wenn die Antworten, wie dieses Paper behauptet, im Basismodell verborgen sind, wie wissen wir dann, dass uns beim Reinforcement Learning Training keine Antworten verloren gehen? Diese Aussage ging quasi viral, weil sie ziemlich dramatisch war. Sie sagt, dass sich herausstellt, dass der Siegeszug des Reinforcement Learning verfrüht war. Das neue Paper Ausgeklügelte Belohnungsschleifen wiederholen nur bekannte Argumentationen des Basismodells. Hier argumentiert Alle dachten, Reinforcement Learning würde smarte Key liefern, doch das Paper Fehlanzeige. Es drängt die Key nur dazu, häufiger Antworten zu wählen, die sie bereits im Kopf hatte. Man zwingt einen Greatest Hits zu spielen, statt Musik zu komponieren. Er sagt auch, dass Die Trefferquote bei 1 steigt, die Modellwelt aber schrumpft, wie einem Kind Karteikarten beibringen und es Weisheit nennen. Und ja, im Grunde sagt er hier, dass Reinforcement Learning die Key dazu bringt, richtige Antwort beim ersten Versuch schneller zu finden, und zwar bei 1. Reinforcement Learning ist jedoch so, als würde man Kindern Karteikarten einbläuen, deren Antworten sie zwar behalten, aber nichts Tiefergehendes verstehen. Der große Traum von sich selbst verbessernden LLM, also im Grunde genommen Spickzettel, Roulette Rad. Nimmt man lange genug Stichproben, spuckt die Basis dieselben Beweise aus, mit denen der Champion des Reinforcement Learning prahlt, abzüglich der Entropie Steuer. Der Traum von einer KI, die sich selbst beibringt, brillant zu werden, könnte also nur ein Mythos sein. Wenn man das normale Basismodell nur oft genug versuchen lässt, kann es schließlich dieselben Antworten finden wie das mit Reinforcement Learning trainierte Modell. Reinforcement Learning liefert keine neuen Ideen, es macht sie nur Wettklüger, nicht Denkklüger. Wir können hier sehen, dass er sagt, es sei Komprimierung, nicht Entdeckung. Reinforcement Learning findet keine neuen Problemlösungsansätze für die KI. Es komprimiert lediglich ihr Wissen in effizientere Muster. Am Ende zählen Schärfere Trichter, nicht bessere Agenten. Wir trainierten Silizium Papageien für immer nutzlosere Olympia Hürden verwechselten Überanpassung mit Einsicht. An dieser Stelle stellt er fest, dass wir Keys zu Papageien ausbilden, die komplexe Prüfungen bestehen, dabei aber nichts lernen. Sie passen die Trainingsdaten und den Teststil einfach zu stark an, ohne ein echtes Verständnis zu entwickeln. Er endet mit den Es wundert kaum, dass wir seit fünf Jahren in der teuersten Kurvenanpassungsdemo der Welt stecken. Haben wir die letzten fünf Jahre und Millionen für Kurvenanpassung bei Keys vergeudet, also Muster lernen ohne echte Intelligenz. Nun gibt es auch noch ein Q A der Forscher, die die Stud verfasst haben. Sie erklären hier im Wesentlichen, warum sie Bestehen bei K anstelle von Mehrheitsentscheidungen verwenden und ob dies ihre Ergebnisse ungültig macht. Sie sagen also im Grunde, dass reale Modelle keine 256 Versuche absolvieren dürfen. Warum ist diese Metrik also überhaupt nützlich? Und im Grunde sagen sie, dass es hier nicht um die Leistung in der realen Welt geht. Es geht um das theoretische Potenzial. Die Autoren PASS dient nicht der Praxistauglichkeitsprüfung, sondern ermittelt das Potenzial eines Modells bei ausreichend vielen Versuchen. Und was bedeutet PASS? Erinnern Sie sich, wie wir bereits besprochen Wenn das Modell K mal raten darf und eine dieser Vermutungen richtig ist, erhält es einen Punkt. Im Grunde genommen ist es eine Möglichkeit, die maximale Leistungsfähigkeit eines Modells zu schätzen, nicht seinen Durchschnitt oder die Mehrheitsauswahl. Ihre Argumentation ist im Wenn Reinforcement Learning das Modell wirklich intelligenter macht, dann sollte das durch Reinforcement Learning gelernte Modell bei großem Kampf, wenn man dem Modell viele Chancen gibt, mehr Probleme lösen als das Basismodell. Im Gegenteil, Reinforcement Learning Modelle zeigen das Sie lösen tatsächlich insgesamt weniger Probleme als die Basismodelle. Das bedeutet, dass Reinforcement Learning dem Modell keine neuen Denkfähigkeiten verleiht. Es hilft nur dabei, dieselben Antworten zu geben und dieselben Antworten effizienter zu testen. Der Nachteil ist, dass es tatsächlich weniger untersucht. Sie sagen hier also im Grunde, dass Passatcar im Grunde zeigt, was ein Modell theoretisch leisten kann und nicht, was es normalerweise tut. Und es beweist im Grunde nur den Punkt, dass Reinforcement Learning den Verstand der KI einschränkt, selbst wenn sie schneller darin wird, einige Antworten auszuspucken. Sie behaupten auch, dass Passat nicht bedeutungslos ist, da man die richtige Antwort schließlich erraten könnte, wenn man oft genug rät. Sie betonen also, wenn die Antwort nur eine Zahl wie 42 ist und das Modell tausendmal rät, könnte es sie schließlich nur durch Glück treffen. Das könnte 1024 bei manchen Aufgaben unzuverlässig erscheinen lassen. Wenn man es 1000 mal versucht, könnte es schließlich die richtige Antwort erhalten. Bei Programmierproblemen kann man jedoch nicht einfach raten und die richtige Antwort erhalten. Das Modell muss alle Testfälle bestehen, und das ist schwer zu erraten. Und trotzdem schnitt das Basismodell oft besser ab, als das mit Reinforcement Learning trainierte Modell, wenn es mehr Versuche hatte. Das ist also kein Glück, das ist echtes Denken im Basismodell, und sie haben das sogar manuell überprüft. Sie untersuchten Probleme von Amy und GSM 8K und die Basismodell Antworten waren keine Zufallstreffer. Sie zeigten mindestens eine schrittweise Lösung. Selbst bei schweren Aufgaben wie Mathe 500 bei denen die Antworten Dinge wie Brüche oder Quadratwurzeln waren, also Dinge, die sehr schwer zu erraten sind, schnitt das Basismodell immer noch besser ab, wenn man ihm mehr Versuche erlaubte. Im Grunde genommen besagt das, dass man natürlich vorhersagen könnte, dass das Modell, wenn es zufällig rät, irgendwann die richtige Antwort geben würde. Das zählt also nicht. Aber das ist nicht der Fall, weil viele dieser Antworten sehr spezifisch sind. Es zeigt also, dass es kein Zufall war, sondern verborgenes Können, das mit mehr Chancen sichtbar wird. Und hier sagen sie auch, dass selbst eine zufällige Stichprobenziehung letztendlich die richtige Antwort generieren kann, macht das ihr Ergebnis nicht bedeutungslos. Theoretisch könnte man also durch zufälliges Tippen irgendwann zu einer richtigen Antwort kommen, aber die Chance, dass das passiert, ist so gut wie unmöglich. Reine Zufälligkeit ist nicht das, was diese richtigen Antworten ausmacht. Die eigentliche Erkenntnis ist im Grunde, dass das Paper nicht sagt, man solle endlos weiter Stichproben nehmen und irgendwann Glück haben. Das Paper findet ein Modell die richtige antwort innerhalb von 128 bis 24 versuchen kennt es den Lösungsweg. Kein Zufall, sondern eine verborgene Fähigkeit des Basismodells. Der Unterschied besteht hier in der Wahrscheinlichkeit. Wenn das Modell ein gewisses Verständnis hat, werden richtige Antworten in ein paar hundert Versuchen ausgewählt. Wenn nicht, müsste man Billionen von Versuchen auswählen, was weit über die praktische Rechenleistung hinausgeht. Das bestärkende Lernen hilft dem Modell dabei, früher bessere Vermutungen anzustellen, Aber es werden keine neuen Schlussfolgerungen entdeckt. Es verkürzt nur die Erkennung der bereits vorhandenen Schlussfolgerungen. Hier sagen sie im Ist das nicht gesunder Menschenverstand? Hilft Reinforcement Learning nicht, dass das Modell gleich richtig liegt? Und ja, das ist natürlich zu erwarten. Doch das ist nicht offensichtlich. Reinforcement Learning zielt auf 100 Prozent Erfolgsrate. Das ist nicht überraschend. Natürlich soll es die richtige Antwort schneller liefern. Es bedeutet nur, dass das Modell jetzt besser darin ist, die bekanntere Antwort schneller auszuwählen, was wir alle wussten. Überraschend ist jedoch, dass Reinforcement Learning die Möglichkeiten des Modells nicht erweitert. Es macht es nur effizienter. Im Grunde genommen sagen Wenn das Basismodell ein Problem auch nach eintausend Versuchen nicht lösen kann, wird es das Reinforcement Learning Modell auch nicht können. Reinforcement Learning hilft dem Basismodell nicht, neue Argumentationsstrategien zu lernen. Es fokussiert nur auf sein Vorwissen durch Optimierung. Und das ist wichtig, denn beim klassischen Reinforcement Learning geht es darum, im Laufe der Zeit bessere Strategien zu finden. Beim Reinforcement Learning in LLMs werden jedoch keine neuen Denkweisen untersucht. Es ist nicht sofort einsatzbereit. Es sprengt nicht die Grenzen des Basismodells. Es beschränkt lediglich die Modellfähigkeiten. Die Überraschung lag darin, dass frühere K Experimente Bei vielen Antwortversuchen war das Basismodell besser als das mit Reinforcement Learning trainierte. Und jetzt stellen Sie hier Bedeutet das im Grunde, dass Reinforcement Learning Modellen nicht helfen kann, besser zu denken als die Basisversion? Nicht unbedingt. Sie sagen nicht, dass Reinforcement Learning nutzlos ist. Kein Beweis für verbesserte Denkfähigkeit bei Modellen ist bisher sichtbar. Und Sie sagen, dass sie vorsichtig Experimente durchführen, um zu fragen, ob Reinforcement Learning den Modellen wirklich hilft, neue Denkweisen zu erlernen. Reinforcement Learning beschleunigt die Antworten der Modelle, verbessert sie aber möglicherweise nicht gegenüber dem Basismodell. Sie sind demgegenüber immer noch offen. Vielleicht könnten größere Modelle und mehr Daten das ändern und Sie testen das gerade mit deepseek V im Vergleich zu R. Das wird also eine wirklich interessante Sache sein, wenn man das Basismodell von deepseek mit dem Reinforcement Learning vergleicht. Man wird sehen, wie viel intelligenter es ist und im Grunde sagen sie nur, dass sie Beweise dafür sehen müssen. Sie stellen im Grunde genommen noch einmal fest, dass Reinforcement nicht nutzlos ist, da es die Stichprobeneffizienz verbessert. Wir brauchen vielleicht ein neues Trainingsparadigma, um wirklich schwierigere KI Probleme jenseits des Basismodells zu lösen. Sie sagen also im Grunde, dass wir bei diesen Modellen eine neue Möglichkeit brauchen, um neues Wissen aus ihnen zu gewinnen. Und das ist natürlich die Art von Intelligenz, die wir wirklich suchen. Offenbar fühlt sich das Lesen mit nur einer Gehirnzelle toll An. So ein OpenAI Mitarbeiter, ich weiß nicht, ich habe darüber nachgedacht und finde das in gewisser Weise interessant. Denn wenn wir uns ansehen, was das Modell macht, ist Reinforcement Learning natürlich großartig, weil es einem hilft, schneller zur Antwort zu kommen. Doch der eingeschränkte Argumentationswege Möglicherweise werden echte Antworten übersehen. Aber wenn wir tatsächlich darüber nachdenken, in einem praktischen Sinne könnte man argumentieren, dass das mit Reinforcement Learning trainierte Modell in gewisser Weise intelligenter ist, da es effizienter ist und die richtige Antwort zuverlässiger und schneller findet, was oft genau das ist, was man braucht. Und es macht oft weniger Fehler und weniger Fehlstarts und liefert bessere Ergebnisse in der realen Welt und in realen Anwendungsfällen, in denen man nur einen Versuch hat. Und das ist wirklich wichtig für reale Anwendungsfälle. Das ist vergleichbar mit unserer Sicht auf menschliche Intelligenz. Wer Probleme beim ersten Versuch stets richtig löst, gilt meist als intelligenter als jemand, der viele Versuche braucht, obwohl beide das gleiche Wissen haben. Die Faszination dieses Papiers liegt für mich in seiner Fokussierung auf die Art der Verbesserung. Nicht, dass das Modell neue Konzepte gelernt oder völlig neue Strategien zur Problemlösung entwickelt hätte, sondern dass es besser darin geworden ist, das zu nutzen, was es bereits wusste. Aber ich persönlich glaube, dass dieser Effizienzgewinn immer noch eine praktische Form von Intelligenz ist. Wenn das Modell sofort zuverlässig den richtigen Ansatz wählen kann, ist es definitiv intelligenter als ein Modell, das viele zufällige Versuche benötigt, um den richtigen Pfad zu finden, selbst wenn beide theoretisch über die gleichen Fähigkeiten verfügen. Die eigentliche Einschränkung, die in dem Paper hervorgehoben wird, ist, dass das Reinforcement Learning eine Obergrenze zu haben scheint. Es kann einem Modell nicht wirklich beibringen, Probleme zu lösen, die grundlegend jenseits der Fähigkeitsgrenze des Basismodells liegen. Und hier könnten andere Ansätze wie Destillation oder sogar andere Architekturen erforderlich sein. Lasst mich also wissen, was ihr darüber denkt. Ich fand das super interessant und wir sehen uns beim nächsten.