Qwen-3 Is Here — The Llama-4 We’ve Been Waiting For!

OK, Quen 3 ist erschienen und neben Deepseek R wahrscheinlich eines der mit Spannung erwarteten Modelle. Für seine Größe zeigt es eine ziemlich unglaubliche Leistung. Es handelt sich um die ersten Hybrid Modelle von Quen, bei denen Sie denken oder Schlussfolgern nach Bedarf aktivieren oder deaktivieren können. Diese Hybrid Architektur wird durch ihr innovatives vierstufiges Lernen ermöglicht. Sie sind sehr gut in Bezug auf Codierung und agentenbezogene Fähigkeiten und unterstützen jetzt sogar MCPs. Dies wird ein kurzes Video, in dem ich mir die Modelle ansehe und meine ersten Eindrücke gestehen werde. Später werde ich detailliertere Videos erstellen. Wir haben heute insgesamt acht verschiedene Modelle veröffentlicht. Zwei davon sind eine Mischung aus Experten und sechs sind dichte Modelle. Sie decken jetzt eine Vielzahl von Anwendungen ab. Das kleinste Modell umfasst nur 6 Milliarden, während das größte 235 Milliarden umfasst. Zunächst ein kurzer Blick auf die Benchmarks, aber wie immer empfehle ich Ihnen, Ihre eigenen Tests durchzuführen und Ihre eigenen Schlussfolgerungen zu ziehen. Basierend auf diesen Benchmarks schneidet der größere 20 bis 235 Milliarden oder Mix Experte besser ab als der OpenAI und ich denke, er ist bei einigen wichtigen Benchmarks sogar mit dem Gemini 2.5 Pro vergleichbar. Bedenken Sie, dass er nur 22 Milliarden aktive Parameter hat. Theoretisch gesehen ist es also ein Milliarden Modell. Das zweite oder größte Modell, das dichte Milliarden Modell ist ebenfalls mit dem OpenAI vergleichbar und schlägt Deepseek R bei einer Reihe wichtiger Benchmarks. Sie konnten also viel Leistung in viel kleinere Modelle packen, um Ihnen eine Vorstellung zu geben. Hier ist das vorherige QWQ Milliarden Modell, das die vorherige Generation von Reasoning Modellen darstellte, aber jetzt übertrifft das kleinere Morrow, das 30 Milliarden umfasst und nur drei Milliarden aktive Parametermodelle hat dieses vorherige Milliarden Modell, Das fast zehnmal so groß ist wie dieses neue Modell. Dieses lokale Modell übertrifft GPT-40 in mehreren wichtigen Benchmarks ziehen Sie Ihre eigenen Schlüsse auf der Grundlage Ihrer eigenen Tests, aber zumindest bei den Coding Benchmarks scheint das wirklich gut zu sein. Die Modellgewichtungen in einer Demo sind auf Hugging Face verfügbar. Sie können das Modell hier direkt testen oder wenn Sie möchten, auch die Chat Oberfläche auf Chat Quen AI verwenden. Das größere und das am stärksten dichte Modell sind bereits in dieser Diagrammoberfläche verfügbar. Ich werde ein weiteres Video darüber erstellen, wie man dieses Modell verwendet. Alle diese acht Modelle wurden unter Apache veröffentlicht und es werden viele technische Details veröffentlicht. Schauen wir uns zunächst das Kontextfenster der dichten Modelle an. Die kleineren Modelle haben ein Kontextfenster von Token. Die größeren, dichten Modelle haben ein Kontextfenster von bis zu Token, was sie sehr nützlich macht. Die Architektur scheint nun auf deepseek V zu basieren, das diesem sehr ähnlich ist. Für die Modelle mit 30 Milliarden und 235 Milliarden gilt ein Kontextfenster. Von bis zu Token. Sie haben keine Benchmarks für lange Kontexte gemeldet. Die Abrufergebnisse bei diesen langen Kontexten sind unsicher. Denken Sie Dies sind keine nativen Langtextmodelle. Sie wurden mit Token vortrainiert. Mit Hilfe dieses vierstufigen Trainings konnten Sie das Kontextfenster auf Token erweitern. Eine Empfehlung von Ihnen, die mir sehr gut gefällt und die Sie hervorgehoben haben, ist, dass Sie, dass sie VLM oder SGLang verwenden sollten, wenn Sie diese Modelle in einer Produktionslast bereitstellen möchten. Ich persönlich habe Erfahrung mit VLM, mit SGLang bin ich nicht vertraut, aber VLM ist eine großartige Option, wenn Sie Open Weight Modelle in Umgebungen mit hohem Durchsatz bereitstellen möchten. Tools wie OLAMA, LM Studio, MLX usw. Eignen sich hervorragend, um diese Modelle lokal auszuführen. Sie sollten sie jedoch nicht in einer Produktionsumgebung verwenden, da der Durchsatz normalerweise nicht hoch genug ist. Das Hauptmerkmal, das diese Modelle wirklich von allen anderen abhebt, ist der hybride Denkmodus. Dies ist meines Wissens nach das erste Open Weight Modell, mit dem Sie das Denken nach Bedarf deaktivieren oder aktivieren können. Es gibt also zwei Einer ist der Denkmodus. In diesem Modus benötigt das Modell Zeit, um zu antworten oder reagiert mit einer Gedankenkette schnell schrittweisem Denken, bevor es die endgültige Antwort liefert. Dies eignet sich hervorragend für komplexe Argumentationsaufgaben. Im Nichtdenkmodus liefert das Modell schnelle, nahezu sofortige Antworten und eignet sich für einfachere Fragen, bei denen Geschwindigkeit wichtiger ist als Tiefe. Mit nur einem Hyperparameter lässt sich dies aktivieren, deaktivieren. Fantastisch. Und es ist wirklich gut zu sehen, dass wir diese Funktion in einem einzigen Modell integriert haben. Sie arbeiten also nicht mit zwei verschiedenen Modellen, sondern dasselbe Modell kann das Denken aktivieren oder deaktivieren. Und genau das gelang Ihnen mit Hilfe des vierstufigen Nachbearbeitungsprozesses, den wir uns später im Video noch genauer ansehen werden. Argumentation oder Das Aktivieren des Denkens hilft tatsächlich bei komplexen Problemen. Basierend auf den von Ihnen gemeldeten Ergebnissen sowie einigen anderen Berichten, die wir von Unternehmen wie OpenAI oder Google gesehen. Haben, scheint es also hilfreich zu sein, das Denken zu aktivieren und länger nachzudenken. Wenn man beispielsweise das Denken In den Benchmarks AIM 24 und 25 vollständig deaktiviert, ist dies dem Nichtdenkmodus sehr ähnlich. Wenn man jedoch die Anzahl der Token erhöht, die das Modell zum Denken verwenden kann, scheint sich die Leistung stark zu verbessern. Hier ist es eine Verbesserung von fast 100 Prozent. Man steigt von fast 40 auf über 80. Ähnliches gilt auch für den AIM Benchmark. Selbst bei der Codierungsaufgabe scheinen Denktoken sehr hilfreich zu sein. Ich möchte jedoch hervorheben, dass es Berichte vom ARK oder ARK AGIV Benchmark gab, die besagten, dass längeres Denken nicht zu genaueren Antworten führte. Das könnte aber auch der Grund dafür sein, dass das Modell die richtigen Antworten nur durch kürzeres Denken fand. Längeres Denken half da nicht. Wir werden also sehen müssen. Das hängt möglicherweise von der Art der Fragen ab, mit denen Sie es zu tun haben. Richtig. Führen Sie also vielleicht Ihre eigenen Tests durch und sehen Sie, wie längeres Denken in Ihrem Anwendungsfall helfen kann. OK, einige der wichtigsten Dinge, die diese Modelle auszeichnen, sind Ihre Multimodalität. Sie unterstützen 119 verschiedene Sprachen, darunter afroafrikanische Sprachen und einige östliche Sprachen wie Türkisch, Arabisch und so weiter. Aber was mich persönlich begeistert, sind die Codierungs und Agentenfunktionen. Außerdem wurde die Unterstützung für MCPs nativ hinzugefügt. Die To Laufro Funktionen sind also ziemlich gut. Ich zeige Ihnen jetzt dieses Video und möchte, dass Sie sich ansehen, wie es Benutzeranfragen verarbeitet. OK, Hier ist ein GitHub Link. Die Benutzeranfrage Markdown Inhalte dieser Seite extrahieren. Zeichne ein Balkendiagramm für die Sternanzahl. Ich werde einfach die Sprachausgabe bzw. Den Ton in diesem Video deaktivieren und jetzt können Sie sehen, dass es angefangen hat zu denken, aber es hat Zugriff auf eine Reihe verschiedener Werkzeuge oder MCPs. Während des Denkprozesses scheint es in der Lage zu sein, diese Funktionen oder Werkzeuge aufzurufen, sie zu verwenden und dann basierend auf den Ergebnissen, die es produziert, weiterzudenken. Es könnte sein, dass es mehrere verschiedene Iterationen des Denkprozesses hat. Vielleicht gibt es also eine Gedankenkette, nach der es die Ergebnisse analysiert und dann eine weitere Gedankenkette Ich muss das Modell testen. Aber das ist etwas, das wir nur bei den OIII Modellen gesehen haben, bei denen das Modell in der Lage ist, Werkzeuge innerhalb der Gedankenkette nacheinander zu verw. Wenn Gwen dazu mit diesen Modellen der Quinn Serie in der Lage. Ist, wird das meiner Meinung nach ziemlich unglaublich sein, vor allem, weil es sich dabei im Vergleich zu O um relativ kleinere Modelle handelt und dann die Fähigkeiten des Computers Computer zu nutzen. Es kann also den Computer nutzen und mittels Gedankenkette schlussfolgern. OK, nun ist die Frage, wie sie es geschafft haben, eine solche Leistung in diesen kleineren Modellen zu erreichen. Ein Lö Qualitativ hochwertige synthetische Daten, generiert durch Vorgänger Quin Modelle. Quin wurde mit 18 Billionen Token vortrainiert. Quin verwendet fast doppelt so viele Daten, also etwa 36 Billionen Token aus 119 Sprachen und Dialekten. Sie berichten, die Daten seien aus dem Web und PDF ähnlichen Dokumenten gesammelt worden. Ich gehe daher davon aus, dass sie sich speziell auf wissenschaftliche Arbeiten, Lehrbücher usw. Beziehen. Mit Quen 2.5 einem Vision Language Model, extrahierten sie Text aus den Dokumenten und verbesserten anschließend dessen Qualität, um mehr Mathematik und Code zu gewinnen. Sie haben mit Hilfe der mathematischen und codierten Modelle von Quen zweiter synthetisch generierte Daten generiert. Sie verwenden also die vorherige Generation dieser Modelle, um die nächste Generation zu verbessern, was ziemlich unglaublich ist. Ich denke, das ist der Trend, den wir beobachten, da uns die Daten ausgehen. Die meisten Anbieter von Frontier-Modellen konzentrieren sich auf immer mehr synthetische Daten, aber nicht auf irgendwelche synthetischen Daten, sondern auf qualitativ hochwertige synthetische Daten. Der Pre Training Prozess umfasste drei verschiedene Phasen. Hier sind die Einzelheiten zu jeder Phase. In der ersten Phase wurde das modell mit über 30 Billionen Token und einem Kontextfenster von nur 4000 Token vortrainiert. In der zweiten Phase wurde der Datensatz verbessert indem der Anteil wissensintensiver Aufgaben erhöht wurde. Dazu gehören beispielsweise MINT Codierungs und Argumentationsaufgaben. Das Modell wurde dann für weitere 5 Billionen Token vortrainiert und in der letzten Phase wurden hochwertige, lange Kontextdaten verwendet, um den Kontext auf Token zu erweitern. Wie Sie im Prätraining sehen können, hat das Modell in der letzten Phase nur Daten mit bis zu Token verarbeitet. Nach dem Training wird es nun sehr interessant. Sie nahmen das Basismodell und führten es dann diesem vierstufigen Post Training Prozess durch, der es dem Modell ermöglicht, das Denken bei Bedarf zu deaktivieren. Und so haben sie es gemacht. In der ersten Phase haben sie das Modell mit Hilfe von Daten zu langen Gedankenketten optimiert. Ziel war es, verschiedene Aufgaben und Bereiche abzudecken, wobei der Schwerpunkt auf Mathematik, Programmierung, logischem Denken und MINT Problemen lag. Hier lernt das Modell also, wie es über diese Probleme nachdenken muss. In der zweiten Phase lag der Schwerpunkt auf der Skalierung der Rechenressourcen für RL. Die Idee war, regelbasierte Belohnungen zu verwenden, um die Erkundungs und Auswertungsfähigkeiten des Modells zu verbessern. Im Kern lernten sie das Modell, komplexe Probleme mit langen Denkprozessen und der Reason Reasoning Idle Technik zu bewältigen. Wenn Sie das Training an dieser Stelle abbrechen, erhalten Sie ein schlussfolgerndes Modell. In der dritten Phase haben sie jedoch nicht denkende Fähigkeiten in das denkende Modell integriert. Sie haben es dabei mit Hilfe einer Kombination aus langen Kontextdaten zu Gedankenketten und häufig verwendeten Datensätzen zur Optimierung von Anweisungen optimiert. Richtig, der Datensatz zu Gedankenketten und ein normaler Anweisungsdatensatz werden genutzt und so hat das Modell gelernt, das Denken zu deaktivieren. Und in der letzten Phase haben sie allgemeines RL auf mehr als 20 Domänen angewendet, glaube ich. Und die Idee war, dass dieser RL Schritt die Fähigkeiten des Modells stärken und unerwünschtes Verhalten korrigieren sollte. Dies scheint also eher wie ein Ausrichtungsprozess zu funktionieren. Dies wurde nun speziell für die moes verwendet. Und danach wurden diese größeren moes in diese kleineren, dichten Modelle destilliert. Und die Ergebnisse sind ziemlich unglaublich. Wenn man sich die Basismodelle ansieht, übertreffen sie die anderen Open Weight Modelle einschließlich des größeren Lama 4 Maverick Basismodells bei den meisten wichtigen Benchmarks mit einem viel kleineren Modell von nur 22 Milliarden aktiven Parametern. Ich werde nun detailliertere Videos darüber erstellen, wie Sie diese Modelle in Ihren eigenen Workflows verwenden können, aber nur um Ihnen ein kurzes Beispiel für die Verwendung innerhalb des Transformer Pakets zu zeigen. Das Schöne daran ist, dass Sie das Denken aktivieren oder deaktivieren können. Wenn Sie hier also das Flag Enable Thinking auf True setzen, verwendet das Modell den Denkprozess. Um dies zu deaktivieren, müssen Sie nur dieses Flag im Tokenizer auf FALSE setzen. Ich denke, ich werde ein paar Videos zu den Anwendungsfällen von Agenten erstellen, da Sie speziell Unterstützung für MCP Konfigurationsdateien hinzugefügt haben. Ich denke, das wird ein gutes Video. In diesem Fall müssen Sie in der Toolbeschreibung lediglich die Konfigurationen für ein bestimmtes MCP angeben und sollten es sofort verwenden können. Ich denke, dass es am ersten Tag Unterstützung für diese Modelle in einer Reihe verschiedener Pakete oder Tools geben wird, die Sie verwendet haben. Hier ist eine Liste von Freunden von Quin. Wahrscheinlich arbeiten Sie direkt mit diesen Firmen zusammen. Die Quinn Modelle sind sofort einsatzbereit. Wie auch immer, dies war ein kurzes Video zum neuen Release von Quinn. Ich denke, Sie haben die Messlatte für Deepseek definitiv ziemlich hoch. Gelegt. Jetzt wird es spannend zu sehen, was Deep S veröffentlichen wird. Morgen soll es angeblich auch ein Release vom Lama Team geben, da morgen die Lama Con stattfindet. Wir können also davon ausgehen, dass es ein Release geben könnte. Es wird also eine sehr interessante Woche. Es wird wahrscheinlich noch einige weitere Releases geben und ich persönlich freue mich auf alle. Ich hoffe jedenfalls, dass euch dieses Video weitergeholfen hat. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.