Deepseeks Self Learning "Breakthrough" Is Incredible (Deepseek R2 News)

Entwickelt deepseek also eine sich selbst verbessernde KI? Nun, das ist die neueste Behauptung, die in dieser Zeitung veröffentlicht wurde. Darin geht es darum, dass deepseek am vergangenen Freitag ein Paper über sich selbst verbessernde KI Modelle veröffentlicht hat. Nun, es gibt da ein paar Vorbehalte. Ich meine, es gibt da einige wahre Aussagen, aber ich werde genauer darauf eingehen, wie das alles funktioniert und was an dieser Behauptung dran ist. Wie Sie hier sehen können, beginnt der Artikel mit den Chinas Deep Sieg findet einen Weg, KI dabei zu helfen, Fragen besser zu beantworten. So funktioniert es. Das hat die Twitter Sphäre tatsächlich in Aufruhr versetzt, weil sich so viele Leute fragten, was das genau ist und wie Deep S tatsächlich die Spielregeln ändert, wenn es darum geht, KI selbst zu verbessern. Wir alle wissen, dass deepseek ein Open Source Unternehmen für offene Forschung ist, und das bedeutet natürlich, dass sie ihre Forschungsergebnisse veröffentlichen. Hier können Sie genau die veröffentlichten Forschungsergebnisse sehen, die sich mit der Skalierung der Inferenzzeit für die Modellierung großzügiger Belohnungen befassen. Glauben Sie mir Leute, ich werde Sie nicht mit allen Einzelheiten langweilen. Ich werde es Ihnen auf eine Weise erklären, die Sie verstehen können. Die Ergebnisse, die wir sehen, zeigen jedoch, dass sich das Modell mit der Zeit durch die Skalierung der Inferenzzeit verbessert. Was wir hier sehen können, und glauben Sie mir Leute, das ist eigentlich nicht so schwer zu verstehen, ist, dass wir jedes Mal, wenn Sie das Modell testen, sehen, wie genau diese Bewertung wird. Nehmen wir also beispielsweise an, wir würden die KI Assistenten, die in diesem Fall die Belohnungsmodelle sind, fragen, um zu bewerten, wie gut die Antwort dieser Key war. Das Diagramm hier zeigt, wie genau diese Ergebnisse im Laufe der Zeit werden. Die Zahlen hier zeigen die Leistung der KI und die Zahlen hier zeigen, wie oft sie es versucht hat. Dies ist nicht das einzige Diagramm, das zeigt, wie unglaublich das ist, denn ich denke, es ist wirklich wichtig, dass sie uns auch die anderen Modelle hier zeigen. Und sie zeigen hier GPT 4 was wirklich interessant ist. Allerdings bin ich mir nicht sicher, um welche Version von GPT-40 es sich handelt, da es derzeit mehrere verschiedene Versionen von GPT 40 gibt. Dass diese Version die Key in Bezug auf die Inferenzzeit übertrifft, ist also ein Kleiner Vorbehalt, da GPT-40 eigentlich kein Inferenzzeitmodell ist. Ich vermute, sie zeigen nur, wie gut das Modell in Bezug auf die Gesamtleistung ist. Wir erklären euch jetzt, wie das funktioniert, denn ich denke, das wird wahrscheinlich in der Basis des nächsten Modells verwendet, deepseek R, das wahrscheinlich das nächste Frontiermodell von deepseek sein wird, das die nächste Stufe der KI übertreffen könnte. Ich erkläre euch jetzt, wie das Ganze funktioniert. Das Ziel ist es, die Key zu verbessern. Nehmen wir in diesem Beispiel Chat. Wenn man die KI verbessern möchte, muss man sie darauf trainieren, eine andere Key darüber beurteilen zu lassen, wie gut die Antworten sind. Dieser Beurteiler wird im Grunde als Belohnungsmodell bezeichnet. Dieses KI Papier zielt im Grunde darauf ab, einen sehr guten, vielseitigen Beurteiler zu schaffen. Es gibt jedoch ein paar Probleme mit den derzeitigen KI Beurteilern. Erstens sind sie nicht universell genug. Sie können vielleicht gut mathematische Antworten beurteilen, aber wenn es um die Beurteilung kreativer Antworten geht oder umgekehrt, funktionieren sie einfach nicht so gut. Ein weiterer Punkt ist, dass sich diese KI-Beurteiler nicht sofort großartig verbessern. Wenn man ihnen also mehr Rechenleistung mit mehr Inferenzzeit zur Verfügung stellt, verbessert das nicht unbedingt ihr Urteilsvermögen. In den meisten Fällen verbessern sie sich tatsächlich nach dem Training. Und da wir diese tief verwurzelten Probleme bei den Juroren haben, müssen wir uns natürlich eine bessere Lösung einfallen lassen, wenn wir versuchen, die Antworten des Modells mit diesen Belohnungsmodellen zu verbessern. Und hier kommt die deepseek Lösung ins Spiel. Hier kommt der GRM Juror ins Spiel. Die Papierlösung heißt Deep Seek GRM. Dies ist eine andere Art von Juror. Anstatt einfach nur eine Bewertung von 7 von 10 auszugeben, schreibt der Juror die Begründung auf und erklärt dann, warum eine Antwort gut oder schlecht ist. Dies sind die Regeln, die er aufstellen kann. Aus dieser Argumentation wird dann die Bewertung abgeleitet. Der Grund, warum sie sich für diese Methode entschieden haben, ist, dass sie flexibler ist. Sie ist detaillierter. Und was noch wichtiger ist, wenn man das System bittet, dieselbe Sache mehrmals zu beurteilen, könnte es mehrere leicht unterschiedliche Begründungen oder Prinzipien aufschreiben, die zu leicht unterschiedlichen Bewertungen führen. Sie trainieren diesen Richter also mit SPCT. Hier kommt also Reinforcement Learning zum Einsatz, bei dem man eine Key trainieren kann, ein Spiel zu spielen. Die Richter KI übt, Prinzipien und Kritiken zu generieren und ihr endgültiges Urteil basiert darauf, ob sie mit dem richtigen Urteil übereinstimmt. Dann erhält sie natürlich eine Belohnung und lernt dies öfter zu tun. Mit der Zeit verstärken sie also das gute Verhalten dieses Modells. Der Grund dafür ist, dass die Richter KI dadurch lernt, gute Prinzipien und Kritiken zu generieren, die zu genauen Urteilen führen, die Sie mit der Zeit intelligenter machen. Um sie jetzt natürlich sofort besser zu machen, kommt die Inferenzskalierung zum Einsatz. Sie wissen also, dass dieses berühmte Paradigma, über das alle reden, wieder einmal Gegenwind verursacht. Sie stellen also der KI mehrere Fragen, was als Sampling bezeichnet wird. Wenn Sie also möchten, dass ein Richter hier eine Antwort erhält, fragen Sie Ihren trainierten Richter mehrere Male. Sie Fragen ihn also 8 oder 32 mal. Dann kombinieren sie diese Beurteilungen und das ist der Punkt, an dem sie abstimmen. Sie sammeln also alle Bewertungen aus den verschiedenen Versuchen und fassen sie zu einem Durchschnitt zusammen. All dies geschieht zur Zeit der Inferenz. Dann kommt die intelligente Kombination zum Einsatz, bei der Sie eine weitere kleine Key namens metam trainieren, deren einzige Aufgabe darin besteht, schnell zu bewerten, wie gut jede schriftliche Kritik des Hauptjuroren war. Dann kombinieren Sie nur die Bewertungen der Kritiken, die der Meta RM für gut befunden hat. Das liegt daran, dass das endgültige Urteil viel zuverlässiger ist, wenn man mehrmals nachfragt und die Ergebnisse kombiniert, insbesondere mit dem Meta RM Helfer, als wenn man nur einmal nachfragt. Das ist viel rechenintensiver, liefert aber ein besseres Ergebnis. Nun denken Sie OK, das ist ja ganz interessant, aber wie sehen die Ergebnisse aus? Die Ergebnisse sind, dass die Key Kriterien sehr gut funktionieren. Der Key Euro funktioniert bei vielen verschiedenen Aufgaben sehr gut. Die Strategie, mehrfach zu fragen, verbessert die Genauigkeit der Key drastisch. Je öfter Sie sie fragen oder je mehr Rechenleistung sie einsetzen, desto besser wird sie. Und ihre Richter Key könnte, obwohl sie mittelgroß ist, viel größere Keys wie GPT-40 als Richter übertreffen. Und wenn diese größeren Keys nur einmal gefragt würden, sieht es insgesamt wirklich gut aus. Und die Verwendung des Meta RM, dieser winzigen Key, dieses kleinen Helfers, um die besten Kritiken auszuwählen, funktioniert sogar noch besser als einfaches Abstimmen. Sie haben im Grunde einen wirklich intelligenten Key Richter gebaut, der seine Argumentation erklärt. Sie haben ihn auf wirklich clevere Weise trainiert und ganz entscheidend ist, dass dieser Richter besser wird, wenn man ihn mehrfach nachdenken lässt, was genauso ist, wie mehr Rechenleistung zu verwenden. Und so kann ein mittelgroßer Key Richter bei Bedarf Höchstleistungen erbringen. Insgesamt ist dies also wieder einmal etwas wirklich Interessantes, denn wir wissen, dass Deep Seek in puncto Innovation weiterhin die Grenzen überschreitet. Und ich muss sagen, es ist wirklich in interessant, dass wir sehen, dass sich das Blatt wendet. Es ist nicht mehr so, dass China den Westen kopiert. Sie führen tatsächlich Innovationen auf ihrer eigenen Ebene ein. Eine Sache, über die ich sprechen möchte, ist natürlich die Tatsache, dass R kommt. Wir wissen, dass die neuen Frontier-Modelle von Deepseek recht bald erscheinen. Werden und angesichts dieser aktuellen Forschungsarbeit frage ich mich, ob das Teil ihrer nächsten Key Version sein wird. Wir wissen, dass sie sehr hart arbeiten und einige würden behaupten, dass sie sogar den jüngsten Frontier Labs voraus sind. Viele Leute kennen Metas Lama 4 und dass es viele, viele verschiedene Pannen in Bezug auf die Leistung dieses Modells gab. Deepseak bringt also schnell ein neues Key Modell auf den Markt und wird alles dafür tun. Dieser Artikel stammt aus dem Februar 2025. Ich frage mich also, wann dieses Modell veröffentlicht wird, denn es gibt noch viele andere Open Source Keys wie Quen, die bald erscheinen und möglicherweise auch GPT 5 und 3 Mini. Daher ist es extrem wichtig, dass Deepseek die Dynamik beibehält, da es ziemlich schwer ist, im KI Bereich relevant zu bleiben. Sie geben nun an, dass es möglich ist, dass sie das Modell bereits im Mai veröffentlichen werden, da dies ihr Plan war. Sie planten die Veröffentlichung im Mai, aber jetzt wollen sie es so früh wie möglich tun. Daher würde es mich persönlich nicht überraschen, wenn wir deepseek R möglicherweise Ende dieses Monats erhalten. Ich meine, es ist eine einmalige Gelegenheit, dass Ihr Unternehmen OpenAI noch weiter voraus ist und wieder im Rampenlicht steht. Ich denke, dass dies möglicherweise passieren könnte, aber das werden wir natürlich abwarten müssen. Und Personen in der Branche sagen, dass die Einführung des R Modells von deepseek ein entscheidender Moment in der KI Branche sein könnte. Und ich frage, wie sich diese Neuigkeiten über die weiteren Fortschritte von deepseek auf Unternehmen wie Meta und ihre Open Source Bemühungen auswirken werden. Wie ich bereits sagte, wenn ihr das gestrige Video gesehen habt, wisst ihr natürlich, dass es eine Menge Kontroversen um die Veröffentlichung von Lama 4 gab. Viele Kritiker argumentierten, dass die Benchmarks gefälscht wurden und das Modell einfach nicht so gut sei. Es wird also interessant sein zu sehen, wie sich die Ankündigung von R auf die KI Branche auswirken wird.