DeepSeek-R1 is here! First Open O1 level Model

OK, die Veröffentlichung eines vollständig Open-Source-Modells der Stufe an. Einem Montagmorgen stand nicht auf meiner Liste. Wir haben Die Veröffentlichung von Deepseek R, einem Open Source Modell für Schlussfolgerungen von Deepseek. Wenn Sie sich erinnern, haben Sie vor kurzem Deepseek Version 3 veröffentlicht, das beste Open Source Modell, das es gibt. Und dieses Modell kommt in puncto Leistung in Bezug auf Schlussfolgerungen, Codierung und Mathematik den Modellen der Serie sehr nahe oder ist ihnen ebenbürtig. In diesem Video werfen wir einen kurzen Blick auf die Veröffentlichung. Detailliertere Tests folgen in Kürze und wir werden uns auch ansehen, wie dieses Modell trainiert wurde, was sehr interessant ist und sich ein wenig von den herkömmlichen Trainingsmethoden anderer Unternehmen entfernt. Die Leistung ist also Auf Augenhöhe mit OpenAI. Es ist vollständig Open Source und Sie haben einen sehr detaillierten technischen Bericht veröffentlicht. Das Beste daran ist, dass es unter dem MIT lizenziert ist und Sie können die Ergebnisse dieses Modells destillieren und kommerzialisieren. Wenn Sie es ausprobieren möchten, ist es kostenlos auf Chat thesig com verfügbar. Die Gewichtungen sind bereits auf Hugging Face verfügbar, Sie können das Modell also herunterladen und ausführen. Tatsächlich handelt es sich nicht um ein einzelnes Modell. Es gibt das Hauptmodell R, das auf dem kürzlich veröffentlichten Deep SQ basiert, aber es gibt sechs kleine Modelle, die aus Deepseair 1 destilliert wurden. Alle sind vollständig Open Source und haben zumindest bei den Benchmarks erstaunliche Leistungswerte. Es gibt größere 32 und 70 Milliarden Modelle, die mit OpenAI Mini vergleichbar sind, und Sie können beide ausführen. Ich denke, die Milliarden Version ist ein Sweet Spot, da die meisten GPUs mit 24 GB RAM in der Lage sein werden, diese in der quantisierten Version auszuführen. Eine verrückte Sache ist nun die Leistung einiger dieser kleineren destillierten Modelle. Wenn Sie sich also dieses DIST Quin B ansehen, das im Grunde ein aus R destilliertes Quin B ist. Damit wird GPD bei wichtigen Benchmarks übertroffen. Es ist schon verrückt, wenn man bedenkt, dass man ein kleineres Milliarden Modell hat, das ähnliche oder bessere Argumentationsfähigkeiten als GBD 40 hat und das man auf Edge Geräten ausführen kann. Jetzt müssen wir noch auf Tests aus der Community warten, aber die Community ist ziemlich begeistert von dieser Version. Wie gesagt, es ist mit lizenziert und für die Community offen, um Modellgewichtungen und Ausgaben zu nutzen. Und API Ausgaben können zur Feinabstimmung und Destillation verwendet werden. All dies scheint durch groß angelegtes Reinforcement Learning im Posttraining möglich. Zu sein. Sie haben nur minimale überwachte Feinabstimmungen im Posttraining, was ziemlich interessant ist, aber für ein Argumentationsmodell irgendwie Sinn macht. Wie bei V haben sie auch einen sehr detaillierten technischen Bericht mit dem Titel Deep K veröffentlicht, der die Argumentationsfähigkeiten in LLM durch Reinforcement Learning fördert. Ich habe den Bericht noch nicht gelesen, aber die Community scheint alles zu verraten, wenn es um das Trainieren eines Argumentationsmodells geht. Hier ist Ein Tweet von Dr. Jim, einem leitenden Forscher bei Nvidia, der sehr interessant ist. Er sagt, dass wir in einer Zeitlinie leben, in der ein nicht amerikanisches Unternehmen die ursprüngliche Mission der offenen KI am Leben erhält. Wirklich offene Pionierforschung, die alles ermöglicht, ergibt keinen Sinn. Das unterhaltsamste Ergebnis ist das wahrscheinlichste. Und um ehrlich zu sein, sind es im Moment die Unternehmen aus China, die die Innovation im Bereich Open Source wirklich vorantreiben. Er erklärt weiter, dass Deep Car One nicht nur eine Flut von Modellen als Open Sou bereitstellt, sondern auch alle Trainingsgeheimnisse preisgibt. Sie sind vielleicht das erste Open Source Projekt, das ein großes anhaltendes Wachstum einer RL Flugansicht aufweist, und mir gefällt wirklich, wie sie einfach Modelle veröffentlichen. Es erinnert mich ein wenig an die Art und Weise, wie Mistral es in den Anfangstagen gemacht hat, indem sie einfach die Modelle ohne viel Aufhebens veröffentlicht haben. Er sagt, dass Auswirkungen durch intern erreichte Key oder unter mythischen Namen wie Project Strawberry erzielt werden können. Auswirkungen können auch erzielt werden, indem einfache die Rohalgorithmen und Matplot Lernkurven bereitgestellt werden. Er weist außerdem darauf hin, dass die Hauptinnovation oder die Hauptleistung durch reines RL ohne überwachte Feinabstimmung erzielt wird. Das ist ein sehr interessanter Ansatz. In diesem Fall benötigt man nicht wirklich viele Label Trainingsdaten, da das Modell nicht auf menschlichen Label Daten basiert, sondern aus seinen eigenen Erfahrungen lernt. Es scheint, als würde die RL Forschung die neue Grenze sein, wenn es um das Denken in Modellen geht. Hier ist ein weiteres Community Mitglied, das dies im Bericht bemerkt hat. Sie sagen, dass sie außerdem festgestellt haben, dass die Anwendung von RL auf diese entfernten Modelle erhebliche weitere Gewinne bringt. Hier ist der Das Verrückteste ist vielleicht, dass sie sagen, dass dies noch lange nicht die Obergrenze der 7 bis 70 Milliarden Modelle der Klasse ist. Es scheint also, als könne man aus diesen kleineren 7 bis 70 Milliarden Modellen ohne neue Daten viel mehr Leistung herausholen. Sie haben sie weiter vorangetrieben, wollen sie aber einfach nicht teilen. Es scheint also, als hätten sie Internmodelle, die noch viel mehr RL sind. Das wird wahrscheinlich ein Bereich sein, der viel erforscht werden wird. Hier ist ein Tweet von Technium, dem Mitbegründer und Leiter des Post Trainings. Er betont auch, dass RL seiner Meinung nach etwas ist, das es wert ist, erforscht zu werden. Dieses RL scheint es jedoch wert zu sein und wir haben an einem System für das Denken in RL gearbeitet, das so ziemlich genau dem entspricht, was sie in deepseek getan haben. Wie ich bereits mehrfach sagte, werden wir also viel mehr Modelle sehen, die mit RL statt mit SFT für das Post Training trainiert werden. Wenn Sie das Modell also ausprobieren möchten, können Sie zu Chat Desact Com gehen und sicherstellen, dass Sie Deep Thinking aktivieren. Dadurch wird das R Modell aktiviert. Wenn Sie es über deren API verwenden möchten, ist es auch verfügbar. Es gibt keine Ratenbegrenzungen, anders als bei einigen anderen Foundation Modellunternehmen. Es ist auch viel billiger, wenn man es mit etwas wie OpenAI vergleicht. Die Preise für dieses Ding sind verrückt. Es lohnt sich also, das zu erkunden. Jetzt zeige ich euch, wie die Ausgabe aussieht. Mir gefällt die Art und Weise, wie über Dinge nachgedacht wird, sehr gut. Sie wirkt viel menschlicher als einige der anderen Modelle. Genauere Tests werden in Kürze veröffentlicht. Was die Geschwindigkeit angeht, ist sie im Vergleich zu einigen anderen Denkmodellen, die wir gesehen haben, wirklich schnell. Hier ist eine Eingabeaufforderung, die eine Variation des Shinyas Katzen Paradoxons ist. Wenn ihr sie sendet, könnt ihr sehen, dass die Ausgabegeschwindigkeit ziemlich beeindruckend ist. Dies ist der interne Denkprozess. Ich habe festgestellt, dass er normalerweise viel ausführlicher ist als einige der anderen Denk oder Argumentationsmodelle, die wir gesehen haben. Ich werde ein detaillierteres Video über das Testen der Argumentationsfähigkeiten von R erstellen. Wir werden es anhand des Datensatzes zur fehlgeleiteten Aufmerksamkeit testen. Bleibt also dran, wenn ihr euch die Ausgabe anseht ähnelt sie der Denkweise eines Menschen oder zumindest dem inneren Monolog. Zum Beispiel heißt OK, lasst mich versuchen, dieses Problem zu lösen. Es gibt also dieses Setup mit einer Katze in der Kiste, richtig? Zusammen mit einem nuklearen Isotop, einem Fläschchen Gift und einem Strahlungsdetektor. Die Idee ist, dass der Strahlungsdetektor, wenn er Strahlung erkennt, das Gift freisetzt und die Katze tötet. Einen Tag später öffnen wir die Kiste. Die Frage ist, wie hoch die Wahrscheinlichkeit ist, dass die Katze noch lebt. Hm, das klingt vertraut, nicht wahr? Ist das nicht ein klassisches Gedankenexperiment von Katzen? Ja, ich denke schon. Richtig. Sie sehen also, dass der Denkprozess zumindest sehr menschlich erscheint, oder so wie Sie Ihren inneren Monolog führen würden. Wie auch immer, es ist großartig zu sehen, dass die Veröffentlichung von Argumentationsmodellen vollständig open source oder zumindest open weight ist, wie in diesem Fall mit der Veröffentlichung von technischen Berichten. Wie ich in diesem Video mehrfach wiederholt habe, wird Reinforcement Learning eine neue Richtung für das Training von Argumentationsmodellen im Posttraining sein. Schauen Sie sich das auf Chat Desic Com an und wie bei jedem anderen Modell sollten Sie es unbedingt an Ihrer eigenen Anwendung testen. Verlassen Sie sich nicht unbedingt auf Benchmarks, aber nach meinen kurzen Tests ist es ein Modell, mit dem man gerne arbeitet. Ich hoffe jedenfalls, Sie fanden dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.