DeepSeek - Goes Mainstream, Everybody In Panic

Die Veröffentlichung von deepseek Eye durch ein chinesisches Unternehmen sollte ein Weckruf für unsere Industrien sein, dass wir uns voll und ganz auf den Wettbewerb konzentrieren müssen, um zu gewinnen, denn wir haben die besten Wissenschaftler der Welt. Das ist sehr ungewöhnlich, wenn man von deepseak hört, wenn man hört, wie jemand etwas erfindet. Wir haben immer die Ideen, wir sind immer die Ersten. Ich würde das als positiv bezeichnen. Das könnte eine sehr positive Entwicklung sein. Anstatt Milliarden und Abermilliarden auszugeben, geben sie weniger aus und kommen hoffentlich zu derselben Lösung.

Deepseek ist derzeit die angesagteste App im Apple Store und hat gerade CHGPT überholt und das innerhalb weniger Tage. Nvidia hat dank Deepseek fast 17 Prozent seiner Marktkapitalisierung verloren, aber dank der Leute von Unsnoi können sie Deepseek lokal ausführen. Und es gab ein paar neue Modellveröffentlichungen, darunter das Quin Vision Language Model, das natürlich ebenfalls Open Source und auf dem neuesten Stand der Technik ist. Ich denke aber, die größte Neuigkeit heute war die Veröffentlichung der guis Serie von deepseek, einer neuen Modellreihe mit Bildverständnis und Bildgenerierungsfunktionen. Wir werden uns all diese und noch viele weitere ansehen. Aber zunächst möchte ich mit diesem Beitrag des CEO von Hugging Face beginnen. Wenn Sie mir vor ein paar Jahren erzählt hätten, dass ein auf Hugging Face veröffentlichtes Modell die Wall Street in den AB treiben und vom US Präsidenten erwähnt werden könnte, hätte ich Ihnen wahrscheinlich nicht geglaubt, in was für einer Welt leben wir doch. Und das stimmt, denn heute gab es ein Blutbad für den Steuersektor an der US Börsenbörse. Nvidia hat tatsächlich fast 17 Prozent seiner Marktkapitalisierung verloren. Ich musste Deepseak fragen, was heute passiert ist und was der Grund dafür war. Sie sagten, dass Nvidia einen historischen Verlust an Marktkapitalisierung von fast 600 Milliarden US Dollar erlitten hat. Das ist der größte Wertverlust eines US Unternehmens an einem Tag in der Geschichte. Das ist eine erhebliche Summe, die angeblich durch Bedenken hinsichtlich des chinesischen Key Startups DC ausgelöst wurde, das ein kostengünstiges Open Source Modell für große Sprachen veröffentlicht hat, das mit US amerikanischen padas wie HTT vergleichbar ist, falls sie es nicht mitgezählt haben. Das Unternehmen hat es für fast 6 Millionen US Dollar trainiert, was angeblich fast 50 mal weniger ist als das, was OpenAI und andere Modellanbieter verwenden. Ich denke jedoch, die größte Neuigkeit ist, dass Deep Seek heute tatsächlich im Mainstream angekommen ist. Wenn man sich die Google Trends ansieht und sie mit anderen Modellanbietern wie ChatGPT vergleicht, ist dies das erste Mal, dass es Deep S tatsächlich übertrifft, was das Suchvolumen betrifft. Das wirft jedoch einige Bedenken auf, da deepseek ein chinesisches Unternehmen ist und die Server in China laufen. Es gibt also Stimmen wie Amerikaner verschenken ihre Daten gerne an die CPP im Austausch für kostenlose Daten und dies ist ein Tweet von Steven, einem Mitarbeiter von OpenAI. In den Community Notes wurde darauf hingewiesen, dass Deep S im Gegensatz zum Modell von OpenAI lokal ohne Internetverbindung ausgeführt werden kann, was absolut richtig ist. Nun benötigen Sie ausreichend Hardware, um R auszuführen. Es sind jedoch auch destillierte Versionen verfügbar. Beispielsweise hostet Grog derzeit die destillierte Version von Deepseat 70 Milliarden. Dies ist wahrscheinlich die schnellste Geschwindigkeit, die Sie für ein Modell mit Argumentationsfähigkeiten erhalten können. Wenn Sie nun das vollständige Modell über eine API ausführen und nicht die Deep S Seek API verwenden möchten, gibt es Optionen wie Together Eye, die ebenfalls DeepSec R bereitstellen, obwohl der Preis dieser AP meiner Meinung nach fast fünfmal höher ist als der von Deepseek. Es gibt auch andere Optionen für APIs. Hyperbolic ist beispielsweise eine weitere gute Option, die Deepseek ausführt. Beachten Sie jedoch, dass Sie es mit einer niedrigeren Quantisierung bereitstellen. Daher erhalten Sie wahrscheinlich nicht die gleiche Leistung. Wenn Sie jedoch irgendwo ein paar H oder sogar ein paar Mac Ultras herumliegen haben, können Sie dies dank der Leute von OnSlot lokal ausführen. Sie leisten wirklich hervorragende Arbeit. Sie konnten es also auf 1,58 Bits quantisieren und es ist ein GGUF verfügbar. Jetzt können Sie es also mit 1,58 Bits ausführen und trotzdem voll funktionsfähig sein. Sie Sie haben es auf fast 80 Prozent verkleinert. Statt 720 GB können sie es jetzt auf 130 GB ausführen. Und Ihr Ansatz besteht darin, dass Sie nicht alle Ebenen naiv quantisieren, was das Modell völlig zerstören und Endlosschleifen und unverständliche Ausgaben verursachen würde, sondern eine dynamische Quantisierung verwenden. Sie können es also immer noch auf HS oder wie gesagt, ein paar Mac Ultras für HS ausführen. Sie erhalten etwa 140 Token pro Sekunde, was ziemlich erstaunlich ist. Hier ist nun ein Beispiel für eine Ausgabe, die Sie erwarten können. Dies ist die ursprüngliche Bit Quantisierung und dies ist eine Ausgabe für dieselbe Eingabeaufforderung für diese dynamische Bit Quantisierung. Das Ergebnis scheint ziemlich nah beieinander zu liegen, und da es sich um ein ziemlich großes Modell handelt, hat die Quantisierung bei größeren Modellen normalerweise viel weniger Einfluss als bei kleineren. Jetzt ist der Effekt der Quantisierung bei Experten oder einer Mischung aus Experten stärker ausgeprägt, aber diese dynamische Quantisierung scheint dieses Problem zu lösen, was für Entwickler eine ziemlich tolle Neuigkeit ist. Es gibt jedoch einige andere Anbieter in den USA, die DeepSec ebenfalls hosten. Perplexity hat beispielsweise damit begonnen, DeepSeak R zu hosten. Sie können es also über Perplexity aufrufen. In den letzten Tagen habe ich einige wirklich schreckliche Ansichten zu DeepSec R gesehen, insbesondere wenn es um Datenschutz geht. Wenn Sie ein anderes Unternehmen haben, das Ihnen ein Produkt kostenlos zur Verfügung stellt, sammelt es Ihre Daten. Aber das Schöne an deepseek ist, dass es vollständig Open Source ist. Sie können es also auf Ihrer eigenen Hardware ausführen, wenn Sie möchten, und über die Ressourcen verfügen. Und ich denke, der einzige Grund, warum deepseek nicht nur von der Tech Community, sondern von der Öffentlichkeit im Allgemeinen so viel Aufmerksamkeit erhalten hat, ist, dass es Open Source ist. Ansonsten gibt es noch ein paar andere chinesische Unternehmen wie Kimi, die ebenfalls einen Kimi 1.5 Pro herausgebracht haben, der fast die gleiche Leistung bietet und kostenlos ist. Aber niemand nutzt ihn wirklich. Das hat sogar Sam Allman anerkannt. In einem Tweet sagte er, dass DCK ein ein beeindruckendes Modell ist, insbesondere im Hinblick auf das, was sie für den Preis liefern können. Wir werden natürlich viel bessere Modelle liefern und es ist auch wirklich belebend, einen neuen Konkurrenten zu haben. Wir werden einige Versionen herausbringen. Dank R werden wir wahrscheinlich schon bald einige Modelle von OpenAI sehen. Nun sagt er weiter, aber vor allem freuen wir uns darauf, unseren Forschungsfahrplan weiter umzusetzen und glauben, dass mehr Rechenleistung jetzt wichtiger ist als je zuvor, um unsere Mission zu erfüllen. Und ich denke, das ist ein direkter Versuch, dem Ausverkauf bei Nvidia zu begegnen. Er sagte, die Welt werde viel KI nutzen wollen und von der nächsten Generation des Modells wirklich sehr begeistert sein. Wir freuen uns darauf, euch AGI und mehr näher zu bringen. Aber das Lustigste fand ich, dass der CEO von deepseek gerade retweetet Viel Glück. Nvidia hat auch ein sehr interessantes Statement veröffentlicht, das über den Bedarf an GPUs hinausgeht. Dort Deep's um ist eine exzellente KI Weiterentwicklung und ein perfektes Beispiel für Testzeitskalierung. Deep Work veranschaulicht, wie mit dieser Technik neue Modelle erstellt werden können, indem weithin verfügbare Modelle und eine vollständig exportkontrollkonforme Berechnung genutzt werden. Der Grund für diesen speziellen Teil scheint eine der Neuigkeiten zu sein, dass deepseek und einige chinesische Unternehmen Zugriff auf H Prozessoren haben, die sie eigentlich nicht bekommen sollten. Darüber gibt es viele Spekulationen, aber es heißt weiter, dass Kleinkinder eine beträchtliche Anzahl von Nvidia GPUs und ein leistungsstarkes Netzwerk benötigen. Deepseat konnte nun seine H 800 GPUs optimieren. Sie mussten optimierte Codes für die Low Level Steuerung der Hardware schreiben, was ziemlich interessant war. Wir haben jetzt drei Skalierungsgesetze vor und nach dem Training, die sich fortsetzen und die neue Testzeitskalierung beinhalten. Und die Idee dahinter ist, dass man nicht nur für das Training dieser Modelle, sondern auch für die Inferenz eine Menge Berechnungen benötigt. Ich hoffe, dass das der Fall ist, denn ich habe heute auch ein paar Nvidia Aktien gekauft, keine Finanzberatung, aber ich denke, dass wir in Zukunft viel mehr Rechenleistung benötigen werden. Und das ist hoffentlich nur ein Einbruch an dieser Stelle. Hoffentlich wird sich Nvidia dann ziemlich stark erholen und ich werde kein Geld verlieren. Ich möchte mir in diesem Video auch noch ein paar andere Dinge ansehen und eines Davon ist die Genesis Modellreihe von Deepseek. Das ist also eine weitere Reihe von Open Source Modellen. Und das größte davon ist Genus ProSieben Billion, das in seiner Gewichtsklasse ebenfalls auf dem neuesten Stand der Technik ist. Sogar Mark Benoff, der CEO von Salesforce, hat getwittert, Deepseek stellt jetzt Genus Pro 7 Billion für die Bilderzeugung vor. Und Deepseek hat sich bereits den ersten Platz im App Store gesichert und das ChatGPT Team überholt. Man braucht keine Supercomputer von Nvidia Nvidia oder Budgets von 100 Millionen US Dollar. Eine Aussage, der ich auf lange Sicht wahrscheinlich nicht zustimme, aber er sagt weiter, dass der wahre Schatz der KI nicht die Benutzeroberfläche oder das Modell ist. Sie sind jetzt Handelswaren, was im Grunde genommen stimmt. Der wahre Wert liegt in Daten und Metadaten. Sie sind der Sauerstoff, der das Potenzial der KI antreibt. Sie sind das Vermögen der Zukunft. Daten sind das neue Öl. Das ist wahrscheinlich mittlerweile jedem bewusst. Sie stecken alle in unseren Daten und nicht in unseren Modellen. Dem stimme ich persönlich nicht zu. Daten sind wichtig, aber nicht jedermanns Daten. Es muss sich um qualitativ hochwertige Daten oder synthetische Daten handeln. Das Modell selbst ist auf Hugging Face verfügbar und scheint bei der Bilderzeugung ziemlich gut zu sein, insbesondere Genus pro 7 Billion. Die Ergebnisunterschiede zwischen dem normalen Genus und Billion pro sind beträcht. Es gibt mittlerweile eine Reihe von Demos, die auf Hugging Face verfügbar sind. Hier ist beispielsweise eine Demo für das visuelle Verständnis des Modells. Wenn Sie also dieses Bild weitergeben, erhalten Sie diese Antwort. Die meisten davon sind jedoch im Moment ziemlich beschäftigt, da viele Leute versuchen, nicht nur deepsea Car, sondern auch diese neu veröffentlichten Genuss Pro Modelle zu verwenden. Es gab auch noch ein anderes Modell von Quinn, das aufgrund all der Dinge, die mit Deep Sense los sind, nicht genügend aufmerksam dies ist das Vision Language Model 72 Billion von Quen 2.5 Wie Deepseek verfügt auch Quen über eine eigene Chat Plattform, auf der sie dieses neue Vision Language Model zusammen mit einigen anderen Modellen verwenden können, darunter das Million Token Kontaktfenstermodell. Es gibt jedoch einige Funktionen, die auf einigen anderen Plattformen nicht verfügbar sind, darunter die Bildgenerierung. Sie können das Modell also anweisen, ein Bild zu generieren, wenn Sie diese Option aktivieren. Oder Sie können es anweisen, ein Bild von einem Lama mit Sonnenbrille zu erstellen. Dies kann es dann für Sie erledigen. Ich bin mir nicht sicher, welches Modell es im Hintergrund zur Bildgenerierung verwendet, aber es kann auch Videos generieren. Hier ist ein Video von einer Katze, die mit einem Yun Ball spielt. Das sieht ziemlich gut aus. Ich würde sagen, die Qualität ist vergleichbar mit der von Sora Turbo von OpenAI. Sie können es jedoch jetzt kostenlos auf jeder kostenlosen Plattform im Internet verwenden. Die Nutzung erfolgt auf eigene Gefahr. Wenn Sie Ihre Daten nicht mit chinesischen Unternehmen teilen möchten, lassen Sie die Finger davon. Wenn Sie jedoch nichts Wichtiges tun und einfach nur Spaß haben oder verschiedene Modelle ausprobieren möchten, empfehle ich Ihnen dringend es auszuprobieren. Wie auch immer, das war heute ein sehr interessanter Tag und da jetzt alle versuchen Deepsea zu nutzen, ist es extrem langsam. Ich habe es in den letzten Tagen wirklich genossen, aber jetzt können Sie aufgrund des gesamten eingehenden Datenverkehrs nicht mit der Nachfrage Schritt halten und ich glaube, Sie haben nicht genügend GPU Ressourcen, um den gesamten Datenverkehr zu bewältigen. Das Beste, was mir persönlich an deepseek gefallen hat, war der interne Denkprozess. Ich persönlich war mehr daran interessiert, die interne Gedankenkette zu lesen, als an den generierten Ergebnissen. Hoffentlich können Sie es wieder online stellen, wenn Sie über genügend Ressourcen verfügen. Dies war also eine kurze Zusammenfassung meiner heutigen Erfahrungen in der Welt von deepseek. Lassen Sie mich wissen, ob Sie solche Videos mögen. Ich werde anfangen, solche kurzen Zusammenfassungen zu erstellen. Falls ihr euch aber nur für technische Inhalte oder Tutorials interessiert, dann wird es dazu bald noch mehr geben. Ich hoffe jedenfalls, dass ihr dieses Video hilfreich fandet. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.