DeepSeek Created a Self Teaching AI Beating OpenAI (AGAIN)... and It Actually Works!

In der Welt der KI geschieht gerade etwas ganz Besonderes und das ist nicht nur ein Hype. Deepseek hat gerade eine neue Methode vorgestellt, mit der KI Modelle sich selbst beibringen können, besser zu denken. Und damit beginnt es Giganten wie GPT 40 zu übertreffen. In der Zwischenzeit entwickelt OpenAI eine Reihe neuer Modelle und hat gerade ChatGPT ein deutliches Speicher Upgrade verpasst. Es kann sich jetzt an alles erinnern, was Sie ihm jemals gesagt haben. Ja, die Dinge entwickeln sich schnell und es ist ehrlich gesagt, als würde man mit einer KI sprechen, die Tag für Tag mit einem wächst. Bevor wir anfangen, noch eine kurze Wir haben gerade einen kostenlosen Kurs über KI Avatare veröffentlicht, was sie sind, wie man sie verwendet, um die Erstellung von Inhalten zu beschleunigen, wie man die richtigen Tools auswählt und sogar Geld damit verdient. Die Plätze sind begrenzt, also klicken Sie auf den Link in der Beschreibung und sichern Sie sich jetzt Ihren Platz in Ordnung. Lassen Sie uns nun über das neue KI System von deepseek sprechen. Sie nennen es deepseek GRM und Sie, dass ein KI Modell, sobald es mit SPCT trainiert wurde, problemlos mit einzelnen Paarweisen oder mehreren Antworten umgehen kann. Nehmen wir also an, Sie geben dem Modell mehrere mögliche Es wird einen kleinen Text ausgeben, der seine Prinzipien zeigt, im Grunde die Regeln, die es gelernt hat, um zu beurteilen, wie eine gute Antwort aussieht. Dann kritisiert es jede Antwort im Detail, bevor es eine Punktzahl von 1 bis 10 vergibt. Wenn die Antwort seine Kriterien für Richtigkeit, Klarheit, Sicherheit oder was auch immer es als wichtig erachtet, erfüllt, erhält sie eine höhere Punktzahl. Wenn die Antwort zweifelhaft erscheint, erhält sie eine niedrigere Punktzahl. Hier ist aber der Es kann eine sogenannte wiederholte Stichprobenentnahme zur Inferenzzeit durchführen. BH Sie können den internen Beurteilungsprozess des Modells mehrfach abfragen und entweder einen Durchschnitt bilden oder über die Ergebnisse abstimmen. Das mag etwas zeitaufwendig klingen, führt aber zu genaueren endgültigen Entscheidungen, da sie eine breitere Streuung möglicher Kritiken erhalten. Als zusätzlichen Schritt führten Sie eine Art Gatekeeper ein, ein sogenanntes Meta Belohnungsmodell oder metam, das alle unterdurchschnittlichen Kritiken herausfiltert, die das System möglicherweise generiert. Sie müssen sich also nicht nur auf eine einzige Kritik verlassen, Man kann mehrere sammeln, den Unsinn herausfiltern und am Ende zu einer besseren endgültigen Entscheidung kommen. Gehen wir nun einen Schritt zurück und schauen uns an, wie deepseek GRM trainiert wird. Der Prozess heißt Self Principled Critique Tuning SPCT und erfolgt in zwei Phasen. Die erste ist das ablehnende Fine Tuning, das dem Modell ein grundlegendes Gespür dafür vermitteln soll, wie gute Kritiken aussehen. In dieser Phase werden 1,07 Millionen allgemeine Anweisungsdaten sowie ablehnend ausgewählte Daten verwendet. Die Idee hinter der ablehnenden Stichprobenziehung ist, dass die generierten Stichproben verworfen werden, wenn die vom Modell vorhergesagten Werte nicht mit den bekannten besten Antworten übereinstimmen. Wenn alles auf Anhieb richtig ist, wird auch das verworfen, da man sich auf schwierige Beispiele konzentrieren möchte. Außerdem werden einige Einzelanwortdaten hinzugefügt, wobei richtige Antworten mit einer 1 und falsche mit einer 0 gekennzeichnet werden. Das ist der Trainingsdatensatz für die Basislinie. Sie geben an, dass Sie für Ihr 27 Milliarden Parameter umfassendes Modell namens Gemma B eine Batchgrösse von 1024 und eine Lernrate von E verwendet haben, um etwa 900 Schritte auf A GPUs zu trainieren. Das dauerte fast 19,2 Stunden. Nach dem RF führen Sie dann die zweite Phase durch, bei der es sich um regelbasiertes Online Reinforcement Learning handelt, das Sie als GRPO bezeichnen. Ähnlich wie bei PRO wird dabei die vorhergesagte beste Antwort des Modells mit der tatsächlich besten Antwort verglichen und bei Übereinstimmung eine Belohnung von plus 1 und bei Nichtübereinstimmung von minus 1 vergeben. Außerdem wird eine KL Strafe von 0,08 eingebaut, um zu verhindern, dass das Modell zu weit vom Kurs abkommt. Diese Phase verwendet Datenpunkte und läuft 900 Schritte mit einer Batchgrösse von 512 ebenfalls auf A für etwa 15,6 Stunden. Deepseek hat außerdem verschiedene Größen dieses generativen Belohnungsmodells getestet, von einer B Version, die auf einer Mischung aus Experten basiert, über eine B Version, die auf Gemma B basiert, bis hin zu den riesigen B und B Versionen, die ebenfalls eine Mischung aus Expertenarchitekturen verwenden. Sie weisen immer wieder darauf hin, dass die Standardgröße für die Sie Ergebnisse präsentieren. B ist vermutlich, weil sie den Sweet Spot zwischen Leistung und Kosten bietet. Sie sagen jedoch, dass man die Leistung des B Modells ziemlich nah an die Single Pass Leistung des B Monsters heranbringen kann, wenn man zum Zeitpunkt der Inferenz genügend wiederholtes Sampling versucht. Das ist eine große Sache, da die skalierung auf ein B Modell offensichtlich teurer und hardwareintensiver ist. Während die 32-malige Stichprobennahme eines B Modells in bestimmten Anwendungsfällen praktikabler sein könnte, ist im Grunde eine Aussage, dass man, wenn man dies in einer realen Pipeline tun möchte, nicht immer direkt zum größten Modell springen muss, um erstklassige Ergebnisse zu erzielen. Das eigentliche Highlight ist, wie dieser Ansatz in Benchmarks abschneidet. Sie testeten mit verschiedenen Sets wie z. B. Rewardbench, das die Sicherheit und Argumentation im Chat untersucht. Es gibt auch PPE mit Präferenz und Korrektheitsteilen und RMB für Aufgaben zur Hilfreichkeit und Harmlosigkeit. Dann gibt es noch RM Error für die Erkennung von Fehlern einzelner Responder für Rewardbench. Die B Version von Deepseek GRM erreicht mit einem einzigen greedy Durchlauf etwa 86,0 Prozent, was bereits ziemlich hoch ist. Wenn Sie dann noch etwas wie eine Abstimmung mit acht Stichproben durchführen, steigt der Wert auf etwa 88,5 Prozent. Kombiniert man das mit der Metam Filterung, kann der Wert in diesem speziellen Bereich sogar 90,4 Prozent erreichen. Bei anderen Tests gibt es kleinere, aber immer noch bemerkenswerte Sprünge. Die PPE Präferenz kann von 64,7 Prozent auf 65,3 Prozent oder 67,2 Prozent steigen, die PPE Korrektheit von 59,8 Prozent auf 63,2 Prozent und so weiter. Sie sagen, dass man insgesamt bei nur einem Durchlauf durchschnittlich etwa 69,12 Prozent erhält. Wenn Sie jedoch 32 Stichprobenabstimmungen plus Methan durchführen, erreicht dies 72,8 Prozent. Diese Ergebnisse übertreffen insbesondere einige andere große öffentliche Belohnungsmodelle wie die Neatron BR Belohnung von 70,5 Prozent und nähern sich in bestimmten Vergleichen sogar den 71,3 Prozent von GPT-40 an oder übertreffen. Diese natürlich ist das System nicht fehlerfrei. Es kann bei Aufgaben stolpern, bei denen es nur eine richtige Antwort gibt, wie Mathematik oder Codierung, insbesondere wenn keine Referenz angegeben wird. Wenn sie ihm jedoch Ground Truch Lösungen geben, kann es bei Mathematik über 90 Prozent erreichen und damit fast mit spezialisierten Modellen mithalten. Das Generieren detaillierter Kritiken anstelle einer einzelnen Bewertung kann langsamer sein und mehr Rechenleistung kosten, insbesondere wenn sie zur Erhöhung der Genauigkeit mehrere Stichproben durchführen. Es gibt auch ein heikles Gleichgewicht mit der Kahle Strafe. Wenn Sie sie zu niedrig einstellen, kann sich das Modell schlecht benehmen. Ablationsstudien bestätigen, dass die Generierung von Prinzipalen und die ablehnen Stichprobenziehung von entscheidender Bedeutung sind. Wenn sie entfernt werden, beeinträchtigt dies die Leistung. Dennoch ist der generative Ansatz flexibel und kann für alle Bereiche von der Chathilfe bis hin zu Sicherheitsüberprüfungen eingesetzt werden. Und wenn Sie mehr Genauigkeit benötigen, können sie wiederholt Stichproben entnehmen und einen Meta RM Blindgänger herausfiltern lassen und das alles, ohne ein größeres Modell neu trainieren zu müssen. Inzwischen brodelt auch die Gerüchteküche um den nächsten Chatbot von Deep Seek, der angeblich R heißen soll. Der erste R sorgte bereits Anfang des Jahres für Aufsehen. Daher sind alle gespannt, ob R deepseek GRM direkt nach dem Auspacken nutzen oder ob er noch fortschrittlichere Funktionen bieten wird. Das Unternehmen hat noch keine offiziellen Aussagen zum Veröffentlichungsdatum von R gemacht oder dazu, ob er alle in dem neuen Paper beschriebenen Funktionen beinhalten wird. In der Community wird jedoch definitiv viel darüber spekuliert. Darüber hinaus spricht deepseek davon, diese fortschrittlichen Key Modelle irgendwann als Open Source bereitzustellen. Aber auch hier wurde noch kein fester Zeitplan veröffentlicht. Das sind dennoch große Neuigkeiten in einer Welt, in der sich die Menschen nach offeneren, groß angelegten KI Lösungen sehnen. Hier nun, wie das alles zusammenpasst. SPCT ist im Grunde das Rückgrat des sich selbst verbessernden Modells von deepseek. Anstatt das Modell einfach nur zu skalieren, bringen sie ihm bei, seine eigenen Regeln zu erstellen, seine Antworten zu kritisieren und ihm selbst Feedback zu geben. Wenn seine Antwort mit dem übereinstimmt, was es für eine gute Antwort hält, verstärkt es dieses Verhalten. Es ist, als würde ein Schüler seine Antwort erklären und durch Feedback besser lernen, nur viel schneller und automatisiert. Was diesen Ansatz so flexibel macht, ist, dass er aufgabenübergreifend funktioniert, ohne dass das gesamte Modell neu aufgebaut werden muss. Wenn das Ziel Korrektheit ist, gibst du Referenzen ein. Wenn es um Sicherheit oder Höflichkeit geht, trainierst du es mit diesen Werten. Ob es darum geht, die beste aus mehreren Antworten auszuwählen oder eine einzelne zu beurteilen, alles wird mit derselben Architektur erledigt. Wirklich verrückt ist NUN, dass die B Version von DeepCGRM mit ausreichend Sampling und Metam Filterung in einigen Benchmarks mit mit Gigantenji GPT-40 und Neotron B mithalten oder diese sogar übertreffen kann. Das ist enorm, vor allem, wenn es von einem neueren Akteur kommt, der von der Tsinhua University unterstützt wird, was seiner Arbeit viel Glaubwürdigkeit verleiht. Es spricht auch für Chinas wachsendes Bestreben, wettbewerbsfähige KI vor Ort aufzubauen. Letztendlich geht es bei diesem gesamten Konzept um intelligentere, anpassungsfähigere Modelle. Anstatt einfach nur größer zu werden, trainiert deepseek Modelle so, dass sie sich selbst kritisieren und spontan verbessern. Die Ergebnisse sind stark, die Kritik ist für Entwickler tatsächlich nützlich und die Flexibilität ist ein großer Gewinn. Es ist nicht immer die schnellste Methode, vor allem beim Sampling, aber sie bietet dir ein tieferes Maß an Einblick und Kontrolle. Okay. Und so wie Deepseak mit seinen sich selbst verbessernden Modellen für Aufsehen sorgt, hat auch OpenAI einige große eigene Schritte in petto. Sie bereiten sich darauf vor, bald eine Reihe neuer Key Modelle zu veröffentlichen. Ganz oben auf der Liste steht GPT 4.1 eine verfeinerte Version von GPT 40 ihrem multimodalen Vorzeigemodell, das Text, Bild und Audio in Echtzeit zusammen verarbeitet. GPT 4.1 soll diesen Kern weiter ausbauen und für eine bessere Performance auf ganzer Linie sorgen. Wir hören außerdem, dass OpenAI plant, Mini und Nano Versionen von GPT 4.1 auf den Markt zu bringen, die wahrscheinlich für höhere Geschwindigkeit und leichtere Geräte optimiert sind. Außerdem haben sie das sogenannte O Modell in Planung und ein O Mini, das sogar noch früher erscheinen könnte. Ein KI Ingenieur hat tatsächlich Hinweise darauf im Webcode von ChatGPT entdeckt. Das ist also wahrscheinlich nicht nur ein Gerücht. Es wird bald passieren, vielleicht sogar nächste Woche. Aber jetzt kommt der eigentliche Sam Allman hat gerade angekündigt, dass die Speicherfunktion von ChatGPT erheblich verbessert wurde. Die App kann sich jetzt an alle deine vergangenen Chats erinnern, nicht nur an einen kleinen Teil des Kontexts, sondern an alles. Das bedeutet, dass Deine Unterhaltungen mit ChatGPT jetzt auf deinen vorherigen aufbauen können, wodurch sich die Antworten viel persönlicher, nützlicher und ehrlich gesagt viel menschlicher anfühlen. Zuvor war die Speicherfunktion etwas eingeschränkt und wurde bereits im September letzten Jahres für Nutzer der Tarife Free, Plus, Team und Enterprise eingeführt. Aber jetzt gibt es noch ein Level höher ChatGPT kann auf deine vergangenen Chats zugreifen, um dir Ratschläge zu geben, Dinge zu schreiben und dir beim Lernen zu helfen und das alles auf eine Art und Weise, die tatsächlich auf dich zugeschnitten ist. Sam sagte das ist ein überraschend tolles Feature und deutete an, dass es ein Schritt in Richtung KI Systeme ist, die mit der Zeit mit dir wachsen und zu einer Art persönlichem Assistenten werden, der dich besser kennenlernt, je mehr du ihn nutzt. Das Feature wird derzeit für ChatGPT Pro Nutzer eingeführt und folgt bald auch für Plus Nutzer. Enterprise, Edu und Team Nutzer erhalten es in den kommenden Wochen. Wenn du dich jedoch in EA, Großbritannien, der Schweiz, Norwegen, Island oder Liechtenstein befindest, erhältst du es zumindest vorerst nicht. Und für kostenlose Nutzer gibt es noch kein Update. Du hast aber immer noch die volle Kontrolle darüber. Wenn du nicht möchtest, dass sich ChatGPT etwas merkt, kannst du dich jederzeit in deinen Einstellungen abmelden. Es gibt sogar einen temporären Chat Modus, in dem keine Erinnerungen an deine Konversationen verwendet oder gespeichert werden. Du kannst die gespeicherten Daten auch jederzeit einsehen, verwalten oder löschen. Sie zwingt dir also nichts auf. Du entscheidest, was sie sich merkt. Ist das nun ein brillanter Fortschritt oder gewöhnen wir uns ein wenig zu sehr daran, dass sich die KI an alles erinnert, was wir sagen? Und wenn die KI jetzt selbstständig urteilen, kritisieren und sich weiterentwickeln kann, haben dann immer noch wir die Kontrolle. Und vergiss Der kostenlose Kurs über KI Avatare ist online. Links findest du in der Beschreibung. Und wenn du es noch nicht getan hast, Klicke auf gefällt mir und abonniere den Kanal. Danke fürs Zuschauen und bis zum nächsten Mal.