New Open Source AI Model Destroys Llama 4 and DeepSeek R1 in Almost Every Task

Nvidia hat gerade ein Monster von einem Modell veröffentlicht, das kleiner als deepseat R ist, es aber trotzdem bei den meisten Aufgaben übertrifft, ja sogar bei der Hälfte der Größe. Es kann wie ein Schalter zwischen flachem und tiefem Denken umschalten und läuft auf nur einem Setup mit 8 Stunden GPUs. Dieses Ding ist Open Source, wahnsinnig effizient und vollgepackt mit neuen Tricks, die du unbedingt ausprobieren willst. Alles klar. Dieses neue Modell basiert auf Metas älterem Lama B Instruct Modell, das bereits für seine ziemlich robuste Leistung und sein Argumentations und Befehlsfolgemodell bekannt war. Das Team von Nvidia hat etwas ziemlich Einzigartiges getan. Sie verwendeten eine Technik namens Neural Architecture Search oder NAS, um auszuwählen, welche Teile der LMA Architektur beibehalten, übersprungen oder zusammengeführt werden sollen. Einige Blöcke des Netzwerks lassen die Aufmerksamkeit vollständig aus oder komprimieren Feedforward Ebenen, während andere mehrere Feedforward Netzwerke zu größeren, effizienteren zusammenführen. Es geht darum, die Speichernutzung zu optimieren. Das Endergebnis ist ein Modell, das Sie auf einem einzelnen achtfachen H Knoten oder sogar auf Systemen ausführen können, die NVIDIAS B oder Hopper Architekturen mit BF oder FP Präzision nutzen. Es ist wirklich beeindruckend, dass etwas so großes 250 3 Milliarden Parameter, um genau zu sein, so in Form gebracht werden kann, dass es die Hardware Ressourcen nicht sprengt. Eines der coolsten Features ist nun dieser integrierte Modus zum Aktivieren und Deaktivieren der Argumentation. Wenn Sie mit komplexen Aufgaben wie detaillierter Mathematik oder Codegenerierung oder erweiterten Fragen und Antworten zu tun haben, können Sie die Argumentation aktivieren und das Modell greift auf seine tieferen Denkprozesse zurück. Wenn Sie einfachere Ausgaben wie kurze Anweisungen oder schnelle Antworten benötigen, schalten Sie die Argumentation aus. Nvidia möchte Entwicklern diese detaillierte Kontrolle ermöglichen. Sie haben die Umschaltfunktion sogar für alle möglichen Aufgaben getestet. Das Modell hat beispielsweise beim Mathe 500 Benchmark alles gegeben und die Genauigkeit von 80,40 Prozent im Modus Reasoning aus auf satte 97,00 Prozent im Modus Reasoned an gesteigert. Eine weitere große Verbesserung gibt es bei Aime, wo die Genauigkeit von 16,67 Prozent 67 Prozent auf 72,5 Prozent bei aktiviertem Reasoning gestiegen ist. Das ist ein ziemlich großer Sprung und zeigt, wie wichtig diese spezielle Funktion für Reasoning sein kann. Außerdem wurde ein sogenannter Live Codebench getestet, bei dem es im Grunde darum geht, korrekten Code zu generieren. Der Unterschied war riesengroß von 29,03 Prozent bestanden bei einer Prüfung auf 66,31 Prozent und es geht nicht nur um Code Aufgaben. Bei einem anderen Test, GPQA, bei dem es sich um eine allgemeine Frage und Antwortaufgabe handelt, stieg die Genauigkeit von etwa 56,60 Prozent 60 Prozent im Modus Reasoning aus auf 76,01 Prozent im Modus Reasoned an. Im direkten Vergleich mit Deepseek R, einem hochmodernen Expertenmodell mit gewaltigen 671 Milliarden Parametern, kann das neue Neatron Ultra dieses bei Aufgaben wie GPQA und IF Eval Anweisungsverfolgung schlagen. Selbst bei der Codegenerierung übertrifft es Deepseek R leicht. Die mathematischen Tests sind jedoch etwas gemischt. Neatron Ultra liegt beim kniffligsten mathematischen Benchmark nicht ganz an der Spitze. Beim M Test erreichte es beispielsweise 72,50 Prozent, während Deepseek R etwa 79,8 Prozent erreichte. Und beim F 500 liegen die beiden Modelle sehr nah beieinander, aber Deepseak liegt mit 97,3 Prozent im Vergleich zu Neatrons 97,00 Prozent immer noch knapp vorn. Im Grunde ist es immer noch ein Kompromissspiel, wenn man bedenkt, dass Neatron weniger Parameter hat. Es ist schon ziemlich erstaunlich. Nvidia hat betont, dass es sich um eine vollständige Open-Source-Lösung mit kommerzieller Lizenz. Handelt. Sie veröffentlichen es unter der sogenannten Nvidia Open Model License. Es fällt aber auch unter die Lama 3.1 Community Lizenzvereinbarung, da es auf Metas Lama aufbaut. In jedem Fall können Sie die offenen Gewichtungen und sogar die Post Training Daten zu Hugging Face abrufen. Ja, es ist bereit für die kommerzielle Nutzung. Das heißt, wenn Sie ein Entwickler sind, der einen KI Assistenten, Chatbot oder ein fortschrittliches Tool bereitstellen möchte, das Retrieval Augmented Generation verwendet, können Sie dies legal tun. Nvidia fordert die Leute außerdem dazu auf, wie gewohnt ihre eigenen Ausrichtungsprüfungen und Sicherheitsbewertungen durchzuführen, da diese leistungsstarken Modelle manchmal Ergebnisse liefern können, die sie nicht erwarten oder vielleicht nicht wollen. Wie genau haben sie also dieses Leistungsniveau erreicht? Es ist nicht nur die Architektursuche. Nvidia hat auch eine mehrphasige Post Training Pipeline durchgeführt. Diese Pipeline begann mit einer überwachten Feinabstimmung von Aufgaben wie Mathematik, Codegenerierung, Chat und Toolnutzung. Dann führten sie eine Runde Reinforcement Learning mit etwas namens Group Relative Policy Optimization, kurz Grid Poly, durch, um die Befehlsbefolgung zu verfeinern. Darüber hinaus verwendeten sie die Wissensdestillation für 65 Milliarden Token und setzten das Vortraining dann mit weiteren 88 Milliarden Token fort. Sie nannten Datensätze wie Fineweb, BASF 1.2 und DLMA sowie eine Reihe synthetischer Daten. Die synthetischen Daten werden übrigens verwendet, um das Modell zu trainieren, wie es mit diesen Argumentationsmodi ein und aus in realen Szenarien umgehen soll. Nvidia gibt an, öffentliche Korpora mit maschinell generierten Eingabeaufforderungen kombiniert zu haben. Es handelt sich also im Grunde eine große Mischung. Ein weiteres interessantes Detail ist, dass die maximale Sequenzlänge des Modells bis zu Token beziehungsweise Token beträgt, um in einigen Referenzen sehr genau zu sein. Das ist enorm, vor allem, wenn man bedenkt, dass typische Kontexte früher eher K oder 8K Token umfassten. Die Fähigkeit, extrem lange Eingaben zu verarbeiten, ist besonders praktisch für Chatbots, die sich längere Konversationen merken müssen, oder für die Analyse umfangreicher Dokumente. Seien wir Große Kontextfenster können für Leute, die ganze Textdatensätze oder umfangreiche Code Repositories zum Debuggen und Zusammenfassen einspeisen möchten, spielentscheidend sein. Wenn Sie Entwickler sind, ist die Einbindung in Neatron Ultra recht einfach, wenn Sie mit Hugging Face Transformer vertraut sind. Nvidia empfiehlt Version Richten Sie Ihre Pipeline in Python ein und steuern Sie die Modi Argumentation ein und Argumentation aus über eine kleine Systemaufforderung mit der Aufschrift Detailliertes Denken ein oder Detailliertes Denken aus. Für Argumentation empfehlen Sie eine Temperatur von 0,6 und einen oberen Unterstrich p von 0,95 was im Grunde etwas Kreativität einführt. Für Argumentation aus heißt Versuchen Sie es auf Tweedy Decoding oder Temperatur gleich 0 einzustellen. Das bedeutet, dass Ihre Ausgaben deterministischer sein werden. Der gesamte benötigte Code wird in Ihren Beispielen gezeigt, und Sie haben auch Anweisungen zur Verwendung von VLM veröffentlicht, sodass Sie eine API für Ihre Apps bereitstellen können. Richten Sie einfach den Server mit dem Modellnamen Trust Remote ODE. Wählen Sie Ihre Gerätezuordnung aus und schon kann es losgehen. Wenn Sie nun neugierig auf die tatsächliche Hardwareleistung sind, Nvidia hat sie auf 8 Stunden GB Chips mit BF Präzision oder manchmal auf B Chips getestet. Sie haben sogar FP auf H GB Karten ausprobiert. Sie haben also mehrere Möglichkeiten, sie auszuführen. Aber natürlich benötigen Sie eine Menge GPU Leistung, wenn Sie Inferenzen in großem Maßstab durchführen möchten. Der Hauptgrund dafür, dass sie wirtschaftlicher ist als einige noch größere Modelle, besteht darin, dass sie dank des Überspringens bestimmter Attention Blocks und der Komprimierung von Feed Forward Netzwerken weniger Speicher verbraucht. Wichtig zu erwähnen ist auch, dass Sie eine vertikale Komprimierung durchführen, so dass das Modell, obwohl es B groß ist, nicht so viel Speicher verbraucht, wie Sie vielleicht denken. Sprechen wir über die zusätzlichen technischen details. Das Basismodell Lama B Instruct wurde offenbar bis 2023 trainiert. Daher könnten alle darüber hinausgehenden Erkenntnisse begrenzt sein, es sei denn, sie werden während der bis 2025 durchgeführten Datenanalyse nach. Dem Training erfasst. Laut Nvidia haben sie im November 2024 mit der Arbeit an diesem Projekt begonnen und bis April 2025 daran gearbeitet. In dieser Zeit haben sie die Architektur verfeinert, den Skip Attention Ansatz getestet und umfangreiche Phasen der Wissensdestillation durchgeführt. Sie heben auch etwas namens QUIN hervor, was vermutlich eine Technik oder vielleicht ein Datensatz ist, der die Argumentation des Modells verbessert hat. Und weil Sie wollen, dass der Prozess transparent ist, veröffentlichen Sie den Datensatz zum Posttraining von Lama Neatron, damit die Leute genau verstehen können, was sie in diese Key eingespeist haben. Die Benchmarks waren ziemlich gründlich. Ich habe ein paar erwähnt, aber ich möchte sie mal so durchgehen, wie es Nvidia tut. Es gibt Math 500 das einen Sprung auf 97,00 Prozent im Argumentationsmodus verzeichnete dann schnellte M auf 72,50 Prozent hoch. BFCLV Live lag bei etwa 74,10 Prozent mit aktivierter Argumentation. Es gibt auch etwas namens Life Codebench, Das den if ewald test für die anweisung verdoppelte und bis zu 89,45 prozent für die Argumentation erreichte. Diese Zahlen stammen alle aus mehreren Durchläufen mit bis zu 16 Durchgängen und um sicherzustellen, dass sie konsistent sind. Und ja, so kommt Nvidia auf diese endgültigen Zahlen. Sie bewerben es als Allzweckmodell für Key Agentensysteme, Chatbots, Codegenerierung, Regretrieval, erweiterte Generierung und so weiter. Es unterstützt auch mehrere Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch. Es ist also definitiv nicht nur für Anwendungsfälle auf Englisch geeignet. Der interessante Teil sind die empfohlenen Nutzungsanweisungen. Schalten Sie die Systemaufforderung auf detailliertes Denken ein oder aus und geben Sie Ihre Benutzeranweisungen in die Benutzeraufforderung ein. Sie sagen ausdrücklich, dass man keine zusätzlichen Systemaufforderungen hinzufügen sollte. Da man dadurch den Moduswechsel verwirren könnte und für Leute, die erweiterte begründete Antworten wünschen, verlässt man sich im Grunde genommen nur auf den Ein Modus. Wenn man etwas Schnelles und Faktenbezogenes möchte, macht man sich auf den Weg. Sprechen wir nun über die Lizenzierung. Da es sich um eine offene Lizenz handelt, bedeutet das, dass man den Code, die Gewichtungen und die Daten nach dem Training einsehen kann. Man muss jedoch die Nvidia Open Model License sowie die Lama 3.1 Community License einhalten. Nvidia betont stets, wie wichtig es ist, verantwortungsbewusst zu entwickeln. Daher möchten sie, dass die Teams ihre eigenen Tests auf Voreingenommenheit, Sicherheit und ethische oder Compliance Probleme durchführen. Sie haben einen Ort eingerichtet, an dem man potenzielle Sicherheitslücken oder KI Bedenken melden kann. Im Wesentlichen möchten sie transparent sein, aber auch sicherstellen, dass die Leute diese Technologie nicht missbrauchen. Eine kurze Anmerkung zur Namensgebung des Neatron Ultra. Anscheinend ist dies Teil der Lama Neatron Kollektion. Es gibt auch kleinere Geschwister wie den Neatron Nano 8 BV oder den größeren Neatron Super BV. Es ist eine ganze Familie. Die B Version ist die Ultra Version. Man kann sie sich also als den Sweet Spot zwischen Rohrleistung und Effizienz vorstellen. Es gibt auch Verweise auf einige wissenschaftliche Arbeiten, wie z. B. Einen Ansatz zur Puzzle basierten Destillation, eine belohnungsbewusste Präferenzoptimierung und die FFN Fusion für große Sprachmodelle. Es handelt sich nicht nur um Marketing Hype, es steckt echte technische Tiefe dahinter, wie Sie diese Ergebnisse erzielt haben. Unterm Strich beweist der Lama 3.1 Neatron Ultra 253 BV von Nvidia, dass man keine Billion Parameter benötigt, um eine Spitzenleistung zu erzielen. Er übertrifft Deep Sseek R bei den meisten Aufgaben, läuft flüssiger und ist kostengünstiger in der Bereitstellung. Sie können ihn sich jetzt auf Hugging Face holen. Er ist Open Source, verarbeitet sehr lange Eingaben und wechselt bei Bedarf zwischen einfachem und tiefem Denken. Das ist alles. Probieren Sie ihn aus und sehen Sie, was er kann. Danke fürs Zuschauen und bis zum nächsten Mal.