Deepseeks New V3 UPGRADE Just Changed Everything... (DeepSeek-V3-0324)

LARRUZ reviews DeepSeek-V3, a new model upgrade that shows dramatic improvements in math and coding benchmarks compared to GPT-4.5, Claude, and Gemini Pro. The model generates complex code like games and websites in single prompts, with major gains in MMLU, GPQA, and math performance at lower cost.
Chapters
China hat es also schon wieder getan. Sie haben tatsächlich ein neues Modell veröffentlicht. Nun ja, man könnte sagen, ein neues Update für deepseek, das die Spielregeln komplett verändert und ich beziehe mich auf das kleinere Upgrade Deep Seek V. Ich habe diese Nachricht auf Twitter kursieren sehen und anscheinend stammt sie vom Deep Seek WeChat, der App, die in China zur Kommunikation verwendet wird. Verrückterweise haben wir vom Deep Seek Team kein echtes Update gesehen, da sie normalerweise alle ihre Updates auf Twitter posten. Diesmal haben sie es jedoch beim Update auf deepseek VI geschafft, nichts zu posten, was einige zu der Spekulation veranlasste, dass es sich nicht um deepseak handelt. Wir sind uns jedoch ziemlich sicher, dass dies der Fall ist, denn das Update ist wirklich, wirklich unglaublich und die Verbesserungen sind einzigartig. Und wenn man sich die Benchmarks ansieht, wird einem klar, dass sich die KI rasant in Richtung sinkender Preise bei gleichzeitiger Steigerung der Modelleistung bewegt, was für Verbraucher eine großartige Sache ist, aber nicht für diese riesigen KI Technologieunternehmen. Natürlich möchten sich viele Leute die Benchmarks ansehen und beim ersten Blick sieht man sofort, dass deepseek V im Vergleich zur aktualisierten Version deepseek V einen krassen Unterschied aufweist. Jetzt haben sie tatsächlich darüber gesprochen, welche Dinge sie aktualisiert haben, wie zb das MMLU, wo sie in diesem Bereich 5 Punkte hinzugefügt haben. Sie können sehen, dass Sie beim MMLU Pro von 75 auf 81 gestiegen sind, was wirklich gut ist. Und dann ist da noch der GPQA. Sie können sehen, dass der GPQA einen sehr schönen Sprung von 59,1 auf 68,4 gemacht hat, womit er mit GPT 4.5 gleichauf liegt. Dasselbe gilt für MMOU, wo er tatsächlich sehr nahe an GPD 4.5 liegt und CLO 3.7 nicht übertrifft. Was den mathematischen Benchmark angeht, ist das natürlich ziemlich verrückt, denn das ist das erste Mal, dass wir sehen, dass das Modell von Deepseek alles andere auf. Dem Markt absolut übertrifft. Hier erhält es eine 94 im Vergleich zu den anderen Modellen, die einfach nicht in die Nähe kommen. Und beim Amy Benchmark können wir sehen, dass es einen Zuwachs von 19 Prozent gibt, was absolut enorm ist. Und es ist wichtig zu wissen, dass es sich hier natürlich um nicht logische Modelle handelt. Man wird also keine Modelle wie R, CLO 3.7 Thinking oder Opening Eyes. Man sieht einfach nur Modelle, die eingefroren sind, könnte man sagen. Denn es wäre natürlich unrealistisch, ein Modell, das länger denkt, mit diesen eingefrorenen Modellen zu vergleichen. Deshalb sieht man diese anderen Modelle in diesem Benchmark nicht. Auch beim Amy Lauf hier kann man sehen, dass China sich stark auf diesen mathematischen Bereich konzentriert oder sollte ich sagen Deep Seek sich stark darauf konzentriert. Interessanterweise habe ich natürlich auch gesehen, dass der Life Code Benchmark bis zu 49,2 erreicht hat. Ich würde jedoch sagen, dass es bei diesem Benchmark möglicherweise einige Einschränkungen gibt, denn mir ist bei den Coding Benchmarks aufgefallen, dass es einigen Key Modellen zwar gelingt, bei bestimmten Benchmarks besser abzuschneiden, es aber seit langem kein Key Modell gibt, das Claude in puncto Coding Fähigkeit übertroffen hat. Ich bin also gespannt, ob das hier tatsächlich mithalten kann und wenn die Leute tatsächlich darauf umsteigen, wäre das meiner Meinung nach ein wirklich unglaublicher moment, denn Claude 3.7 Sonet oder Claude 3.5 Sonet haben in der KI Community einen derartigen Stellenwert, wenn es ums Coding geht. Falls Sie ihnen nicht glauben, gefällt mir an der KI Community vor allem, dass sie oft ihre eigenen Benchmarks durchführen, um zu sehen, was das Modell für sie leistet. Ich persönlich denke, dass dies das Nützlichste ist, was sie tun können, da sie so wirklich genau einschätzen können, wo das Modell für ihre persönlichen Anwendungsfälle liegt. Jemand hat das selbst getan und ich werde gleich darauf eingehen. Wenn wir uns aber die anderen Benchmarks ansehen, die von anderen Organisationen veröffentlicht wurden, können wir sehen, dass der ADA Polygood Benchmark hier einer die PSEEK V, tatsächlich die Nummer 1 ist, wenn es darum geht, eine hohe Punktzahl im Verhältnis zu den Kosten zu erzielen. Und das ist etwas, das wirklich sehr wichtig ist, denn wir können sehen, dass dieses kleine Update das Modell tatsächlich ein kleines bisschen weiterbringt, so dass die Leute dieses Modell jetzt anderen Modellen vorziehen könnten. Sie sehen, dass es Medium übertrifft, die vorherige Version von V und die einzigen Modelle, die davor liegen, sind Deepseat R, das natürlich ein denkendes Modell ist und natürlich CLO 3.7 ONIT, das nicht denkt und dann CLOS 3.7 das denkt. In Bezug auf diesen Benchmark liegt also nur ein Modell vor ihm. Und falls Sie sich fragen, was zum Teufel der Ada Polygood Benchmark ist, das habe ich noch nicht einmal erklärt. Nun, dieser benchmark besteht aus 225 der schwierigsten Programmierübungen. Von Exorcism, die speziell ausgewählt wurden, um Programmierern eine starke Herausforderung zu bieten und er deckt sechs beliebte Programmiersprachen ab, wie z. B. C, Go, Java, JavaScript, Python und Rust. Dieser Benchmark wurde also entwickelt, um reale Programmierszenarien besser abzubilden und wir können sehen, dass er tatsächlich ziemlich gut abschneidet. Wie ich bereits sagte, können wir hier auch sehen, dass einige Personen sich dafür entschieden haben, über den Hype hinauszublicken und zu prüfen, ob die Modelle tatsächlich für ihre persönlichen Anwendungsfälle geeignet sind. Und dieser Benutzer sagte, dass es in allen Tests bei allen Metriken einen enormen Sprung gemacht hat und es ist jetzt das beste nicht logische Modell. Es enthront Sonnet dritten 5. Wir können hier sehen, dass Deepseek V in seinem Test höhere Punktzahlen als die vorherigen Modelle erzielen konnte. Ich sehe aber auch, dass Quen B eine höhere Punktzahl erzielen konnte. Es wird also interessant sein zu sehen, um welche Art von Modell es sich handelt, ob dies eine Art fein abgestimmte Version des Modells Modells war oder ob es bei diesem Benchmark Dinge gab, bei denen Deep SV 3 besonders gut abschnitt. Wie auch immer, wir können sehen, dass das Modell hier bei allen Tests wirklich gut abschneidet. Natürlich haben sie auch einige Codierungstests durchgeführt und wir können sehen, dass das Modell im Vergleich zu diesen anderen Modellen ebenfalls recht gut abschneidet. Es ist also ziemlich überraschend, dass das Modell so gut abschneidet. Nun zu einem weiteren Benchmark, den Sie sich ansehen sollten, nämlich Cores LLM Arena, dem Real World Coding Benchmark. Wir können sehen, dass er tatsächlich wieder auf Platz 2 liegt, direkt hinter Cloud 3.7 Sonet Thinking und hinter Claude 3.5 Sonet. Er übertrifft sogar Claude 3.7 Sonet. Eines der überraschendsten Dinge an diesem Modell ist also, dass es tatsächlich ziemlich gut beim Codieren ist. Wie ich bereits sagte, weiß ich nicht, ob es Claude in Cursor so schnell vom Thron stoßen wird, aber es wird interessant sein zu sehen, was die Leute geschaffen haben. Wir können nun auch sehen, dass die künstliche Intelligenz ihren eigenen Benchmark durchgeführt hat und wir können sehen, dass sie den Intelligenzindex haben. Dieser umfasst nun 7 Bewertungen aus den Bereichen Argumentation, Wissen, Mathematik und Codierung und wir können sehen, dass dieses Modell bei den nicht argumentierenden Modellen so ziemlich auf den ersten Platz gesprungen ist, was, wie ich bereits sagte, eine große Überraschung ist, wenn man die Größe von Modellen wie GPT 4.5 bedenkt. GPT 4.5 wurde, wie viele von euch vielleicht wissen, aufgrund seiner enormen Größe in Bezug auf alle Daten, die sich im Modell befinden und möglicherweise der Menge an Parametern, die das Modell verwendet, als klobiges Modell bezeichnet. Wenn also ein Modell, das viel kleiner ist, dies übertreffen kann, könnte dies ein Hinweis darauf sein, dass das Modell möglicherweise anhand einiger Benchmarks trainiert wurde, aber vielleicht ist es einfach ein effektiveres Modell. Übrigens wird es wirklich interessant sein zu sehen, was dies tatsächlich im LM Bereich bewirkt, denn ich denke, dass dies einer der nützlichsten Benchmarks sein wird, wenn es darum geht, Anwendungsfälle in der realen Welt zu erkennen. Artificial Analysis hat tatsächlich gesagt, dass dies der verrückteste Start ist, da er tatsächlich beeindruckender als R ist und möglicherweise darauf hindeutet, dass R ein bedeutender Sprung nach vorn sein wird. Sie Sehen also, dass Deepseek nicht nur das beste Open Source Modell veröffentlicht, sondern jetzt auch die Grenzen der nicht logischen Open Awaits Modelle überschreitet und alle proprietären nicht logischen Modelle in den Schatten stellt, darunter Gemini Pro, Cloth 3.7 Sonnet, Alama B. Wenn wir uns dieses hier ansehen, können Sie sehen, dass wir den Index nach Modelltyp sehen können. Wir können also feststellen, dass bei nicht logischen Modellen das beste nicht logischen Modell laut mehreren Benchmarks derzeit wahrscheinlich Claude 3.7 und natürlich Deepseek V ist. Dieses hier ist also super interessant. Ich finde es wirklich sehr beeindruckend, dass dieses Unternehmen einfach so loslegt und das tut, wenn man bedenkt, dass die vorherigen Iterationen der Modelle Monate, wenn nicht Jahre in Anspruch genommen hätten, um sie zu entwickeln und zu veröffentlichen, und dass sie viel teurer gewesen wären als das, was wir derzeit haben. Es gibt viele Inferenzanbieter, die den Zugang zu diesem Modell tatsächlich kostenlos anbieten, und einmal mehr bewahrheitet sich das alte Sprichwort, dass Intelligenz zu billig ist, um sie zu messen. Wir können jetzt sehen, dass R bei den Schlussfolgerungsmodellen das Denken von Claude Sonic in mehreren Bereichen tatsächlich übertrifft, aber natürlich wissen wir, dass Claude sich nur aufs Programmieren konzentriert. Aber dennoch, wenn dies V ist, spekulieren viele Leute, dass V noch beeindruckender sein wird und dass das nächste Denkmodell die KI Branche im Westen insgesamt überholen könnte. Ich frage mich wirklich, was die KI Branche Branche davon halten würde, wenn das der Fall wäre. Sie sprachen auch darüber, dass sie einige Frontend Webentwicklungen eingeführt haben, um beispielsweise die Ausführbarkeit des Codes zu verbessern und ästhetisch ansprechendere Webseiten und Spiele Frontends zu erstellen. Ich habe mir jetzt ein paar Tweets angesehen. Eine Person hier sagte, dass dies einen gewaltigen Unterschied gemacht habe. Wenn wir uns die Webseiten hier ansehen, sehen wir, dass sie wirklich sehr, sehr gut aussehen und wirklich, wirklich effektiv sind. Und natürlich konnte dieses Modell besseren Code generieren. Wir können also sehen, dass dieser Benutzer hier tatsächlich viele Artikel über KI twittert. Er sagte zu Deepseek V Make a call 3 JS game. Wir können also genau sehen, wie das aussieht, wenn wir dieses Video abspielen. Wir können sehen, dass es ein wirklich cooles, interessantes D Spiel erstellt, in dem man auf Objekte schießt, die auf einen zukommen. Insgesamt können wir also sehen, dass die Programmierfähigkeiten des Modells tatsächlich so zu programmieren, dass es in bestimmten Szenarien gut funktioniert und gut läuft, etwas sind, wozu das Modell in der Lage ist und dass der Code nicht nur zur Schau dient. Das ist also definitiv eine bahnbrechende Sache, denn es bedeutet, dass jetzt viele Leute, die sich die Frontiermodelle zuvor möglicherweise nicht leisten konnten, zu einem Bruchteil des Preises Zugang zu einem Frontiermodell haben werden. Ich denke, wie ich bereits sagte, wird es vor allem darauf ankommen, was mit diesen anderen Unternehmen passiert, wenn die Leute anfangen, auf diese Modelle umzusteigen und wie sie es schaffen, dies in ihre weiteren Pläne zu integrieren. Es gab auch einen Fall, in dem es jemandem gelang, einen Code Generator für umarmte Gesichter zu generieren. Dieser Benutzer, Paul Pandy, forderte über einen beliebigen Chat auf, eine Wassermolekül Simulation mit deepseek V durchzuführen, um eine interaktive Simulation zu erstellen, die zeigt, wie Wassermoleküle Wasserstoffbrücken bilden und aufbrechen und die außerdem einen Temperaturregler anzeigt. Und wir können sehen, dass das Programm dies recht effektiv bewerkstelligt. Es gibt zwar ein paar kleine Einschränkungen, aber insgesamt scheint es das Ziemlich gut zu machen. Eine andere Person sagte, es sei so gut, dass deepseek V diese Website einfach so in einem Rutsch erstellt hat. Es hat über 800 Zeilen Code geschrieben, ohne auch nur einmal abzubrechen. Ehrlich gesagt, wenn sie mich fragen, wer diese Website erstellt hat, hätte ich nicht gedacht, dass sie von einer Key in einem One Shot Szenario erstellt werden würde. Das finde ich also wieder einmal ziemlich überraschend. Insgesamt denke ich, dass dies bereits weitreichende Auswirkungen haben wird. In meinem nächsten Video zu OpenAI werde ich tatsächlich darüber sprechen, wie OpenAI heimlich bekannt gegeben hat, dass sie dank der Deepseek Modelle einige Änderungen im Unternehmen vornehmen werden. Ich denke, dass dies die gesamte KI Branche, insbesondere für uns Kunden, auf eine Weise verändern wird, die die Leute einfach noch nicht gesehen haben. Nun, es gab auch noch dieses eine Beispiel, bei dem sie sehen können, dass das Modell beim Frontend Coding deutlich besser ist. Wir können sehen, dass im vorherigen Bereich, in dem sie ein einfaches Spiel erstellen wollten, die Bilder im HTML einfach nicht so gut aussahen. Auf dieser Seite können wir jedoch sehen, dass sie um einiges besser aussahen. Wenn sie das Modell verwenden möchten, können sie natürlich eine Website wie Pro verwenden. Das ist definitiv eine meiner Lieblingswebsites, auf der ich mit der Verwendung von Modellen beginne, da es dort keine Beschränkungen gibt. Die einzige Beschränkung besteht in den Credits, die ich einfach aufladen kann. Außerdem stellen sie in der Regel innerhalb weniger Stunden hochmoderne Modelle bereit. Ich freue mich also wirklich sehr, diese Website zu nutzen und das ist kein gesponsertes Video oder so etwas. Es ist einfach eine einfache Möglichkeit, diese Modelle in einer einfachen Chat Benutzeroberfläche zu verwenden. Wenn euch das Video gefallen hat, lasst mich wissen, was ihr von Deepseek haltet. Denkt ihr, dass OpenAI in Panik gerät? Ich weiß, dass sie das nicht tun. Sie führen eine intelligente Neuausrichtung durch, über die ich im nächsten Video sprechen werde. Aber was haltet ihr von diesem Modell und habt ihr es schon verwendet? Abschließend möchte ich sagen, dass ich es kaum erwarten kann, das LMSYS Chat Arena Leaderboard zu sehen, da es wahrscheinlich der deutlichste Hinweis darauf sein wird, wo das Modell in Bezug auf die tatsächliche Alltagstauglichkeit steht.










