New 2 Trillion Parameter AI Model Shocks The World (Meta's Llama 4 Behemoth)

Meta hat OpenAI und Google völlig überrumpelt. Aus heiterem Himmel erschien die Lama 4 Reihe mehrere Modelle, eines krasser als das andere. Ein Modell verarbeitet 10 Millionen Token, ein anderes konkurriert mit GPT-4 und benötigt nur die Hälfte der Rechenleistung. Und das wahre monster ist ein 2 Billionen Parameter Monster, das noch im Verborgenen trainiert. Meta hat also drei wichtige neue Modelle angekündigt und obwohl sie auch ein viertes angedeutet haben. Und diese sind alle Teil der neuen Lama 4 Reihe. Die Modelle, die wir jetzt tatsächlich bekommen können, sind Llama 4 Scout und Llama 4 Maverick. Das monströse Lehrermodell namens Llama 4 Behemoth wird noch irgendwo in Metas Rechenzentren trainiert. Sie haben auch kurz etwas namens Llama for Reasoning erwähnt, aber Meta hat darüber sehr viel Geheimniskrämerei verbreitet. Daher haben wir noch nicht viele Details. Lassen Sie uns zunächst Scout und Maverick genauer betrachten, da diese in der KI Community bereits für Aufsehen sorgen. Beide sind Open Weight Modelle, was im Grunde bedeutet, dass sie die trainierten Gewichte herunterladen und auf ihrer eigenen Hardware verändern können. Es gibt jedoch immer noch einige Lizenzbeschränkungen. Wenn sie beispielsweise ein sehr großes Unternehmen mit über 700 Millionen Benutzern sind, benötigen sie die ausdrückliche Genehmigung von Meta, um sie kommerziell nutzen zu können. Trotzdem gilt dies als ein enormer Fortschritt für Open Source Key, da sie nun leistungsstärke, große Sprachmodelle selbst hosten können, die das Potenzial haben, mit führenden geschlossenen Modellen wie GPT-4 zu konkurrieren. Die Leute sind ziemlich begeistert, wenn es eine Openweight Version gibt, da sie alle möglichen neuen Experimente und benutzerdefinierten Feinabstimmungen ermöglicht, ohne dass sie eine externe Cloud API verwenden müssen. Wie dem auch sei, Lama Force Scout ist das kleinere der beiden Modelle, hat aber immer noch 17 Milliarden aktive Parameter und 16 Experten unter der Haube. Und stellen Sie sich vor, es kann auf einer einzigen Nvidia H GPU ausgeführt werden, was viele Entwickler lieben, da sie nicht unbedingt eine riesige Serverfarm benötigen, damit es funktioniert. Der eigentliche Clou ist jedoch, dass Scout angeblich ein Kontextfenster von bis zu 10 Millionen Token unterstützt. 10 Millionen unglaublich. Manche scherzen, es sei quasi unbegrenzter Kontext, weil man ihm theoretisch ganze Bücherregale voller text oder sogar 20 Stunden Videodaten zuführen könnte, da es nativ multimodal ist. Es kann Bilder und Text gleichzeitig verarbeiten. Die Idee dahinter ist, dass es eine enorme Menge an Input auf einmal verarbeiten kann, ohne alles in kleinere Einheiten zerlegen zu müssen. Natürlich weisen einige darauf hin, dass es ab einem bestimmten Schwellenwert möglicherweise nicht für jedes einzelne Token erstklassige Ergebnisse liefert, aber der Punkt bleibt bestehen. Es ist deutlich mehr, als man bei typischen Kontextfenstern mit oder Token erwarten würde. Dann gibt es noch Lama für Maverick, das fortschrittlicher ist und die gleichen 17 Milliarden aktiven Parameter, aber satte 128 Experten hat. Dies alles ist Teil von Metas Mix of Experts Architektur MOI, bei der jedes Token nur eine Teilmenge dieser Experten gleichzeitig aktiviert. Es steigert im Wesentlichen die Effizienz und senkt den gesamten Rechenaufwand. So erhalten sie ein Modell, das mit riesigen Parametern mithalten oder diese sogar übertreffen kann, ohne einen riesigen GPU Cluster zu benötigen. Maverick wird bereits mit GPT-40 Gemini, Flash und Deepseek V verglichen. Eine Reihe von Tests aus der Open Source Community zeigte, dass Maverick bei Programmieraufgaben und allgemeinen Sprachbenchmarks in der Leistung ganz vorne mitspielt, obwohl deepseek V es in bestimmten Bereichen knapp übertreffen könnte. Maverick nutzt jedoch offenbar nur etwa die Hälfte der aktiven Parameter von deepseek V, was sich in Bezug auf Kosten und Geschwindigkeit erheblich auswirkt. Deep Die Anzahl der aktiven Parameter ist entscheidend, da sie angibt, wie viele Parameter sie für jede Tokengenerierung tatsächlich laden oder verarbeiten müssen. Lama für Behemoth ist nun der große Star, auf den alle warten. Wenn Sie 17 Milliarden aktive Parameter für verrückt halten, warten Sie, bis Sie hören, dass Behemoth 288 Milliarden aktive Parameter mit einer Gesamtparameteranzahl von rund 2 Billionen hat. Das ist einfach enorm. Laut Meta wird es als Lehrmodell fungieren, das die kleineren Lama Varianten anleitet und vermutlich deren Textgenerierung oder logisches Denken prägt. Gerüchten zufolge könnte Behemoth große Closed Source Modelle wie GPT 4.5 oder Claude Sonnet 3.7 übertreffen, insbesondere bei extrem kniffligen Mint Aufgaben. Aber es ist noch nicht so weit Es befindet sich noch in der Entwicklung. Niemand weiß genau, wann es erscheinen wird, aber hoffentlich bald, wenn man bedenkt wie schnell Metascout und Maverick veröffentlicht. Hat, ein immer wieder auftauchendes Detail, wie wie weit meta diese neuen Lama 4 Modelle verbreitet. Man kann sie bereits auf der offiziellen Lama Seite, auf Hugging Face und auf bestimmten HPC oder KI Beschleuniger Plattformen herunterladen. Einige Leute haben Demos gepostet, die mAverick auf Apples M Ultra Mac Studio Clustern laufen lassen, indem sie im Grunde mehrere Einheiten zu großen, einheitlichen Speicherblöcken zusammenschließen. Da MOI Modelle aktive Parameter nur zur Laufzeit laden, kann man theoretisch ein riesiges Modell in kleinere Speicherblöcke packen. Wenn man jedoch versucht, alles mit voller Präzision zu erledigen, benötigt man möglicherweise immer noch jede Menge Speicher. Es ist jedoch ziemlich cool, dass dieser Ansatz, der verschiedene Experten einbezieht, es Nutzern ermöglicht, fortgeschrittene LLMs auf Hardware auszuführen, die früher als völlig unzureichend galt. Inzwischen gibt es bereits Nutzer Feedback zum Verhalten von Scout und Maverick in Gesprächen. Einigen Testern fiel auf, dass Maverick eine farbenfrohere oder lustigere Sprache verwendet und gelegentlich Emojis oder dramatische Pausen einbaut. Manche finden das etwas albern oder störend, aber da diese Modelle offen sind, kann man sie bei Bedarf so optimieren, dass sie sich anders verhalten. Das ist ein Teil des Schönen an Open Source. Wenn einem der niedliche Stil nicht gefällt, kann man das System oder die Eingabeaufforderung anpassen, um etwas Neutraleres zu erzeugen. Andere testen die Fähigkeiten der Codegenerierung, indem sie nach allen möglichen Python Skripten fragen. Einige Leute testeten es mit einem springenden Ball und einer sich drehenden Sechseck Eingabeaufforderung. Die Ergebnisse variieren, aber anscheinend ist es bereits auf Augenhöhe mit älteren versionen von GPT 4 was ziemlich verrückt ist, wenn man bedenkt, dass Scout und Maverick gerade erst gestartet sind. Es besteht allgemeine Übereinstimmung darüber, dass die neuen Lama 4 Modelle zwar nicht jeden fortgeschrittenen Denktrick von GPT oder Claude perfekt nachbilden, aber sie kommen dem Standard sehr nahe und sind günstiger im Betrieb. Apropos Eine Analyse hat ergeben, dass Lama Vierscout etwa 15 Cent pro Million Eingabetoken und etwa 40 Cent pro Million Ausgabetoken berechnet, wenn es über bestimmte Hosting Plattformen ausgeführt wird. Das ist ein Bruchteil der Kosten, die man für einige namhafte geschlossene Modelle zahlen müsste. Maverick ist etwas teurer, liegt aber immer noch deutlich unter den Preisen von GPT 4. Das ist ein großer Vorteil für Entwickler, die Kosten und Skalierung im Griff haben, da sie so größere Sprachmodelle am Laufen halten können, ohne Geld für API Aufrufe auszugeben. Natürlich ist es etwas umstritten, ob Scout wirklich 10 Millionen Token zuführen und trotzdem noch eine erstklassige Leistung erwarten kann. Einige Experten sind der Meinung, dass es möglicherweise nicht für jeden Teil dieses enormen Inputs erstklassige Antworten liefert. Allein diese Möglichkeit sorgt für Aufregung, denn wenn es auch nur halbwegs funktioniert, könnte man theoretisch ganze Textbibliotheken oder stundenlange Videotranskripte in einen Prompt packen. Das macht die durch Retrieval erweiterte Generierung möglicherweise weniger kritisch, denn wenn man diese riesige Menge an Referenzmaterial direkt in den Prompt packen kann, benötigt man nicht unbedingt eine separate Pipeline mit Vektordatenbanken. Andererseits könnte dies extrem teuer oder langsam sein. REC wird also wohl noch nicht verschwinden. Höchstwahrscheinlich werden wir noch eine Weile einen hybriden Ansatz sehen. Für Aufsehen sorgt auch die Tatsache, dass Meta alle seine eigenen Dienste mit Lama 4 aktualisiert. Es wird schrittweise für WhatsApp Messenger, Instagram Direct und das gesamte Web eingeführt. Wenn Sie also in einer App mit metai chatten, verwenden Sie im Hintergrund möglicherweise entweder Scout oder Maverick. Einige Leute haben versucht, große Prompts auf der offiziellen Meta AI Website zu veröffentlichen, mussten dann aber feststellen, dass die kundenorientierte Benutzeroberfläche derzeit keine sehr langen Eingaben zulässt. Die Leistungsfähigkeit des Modells ist jedoch vorhanden, und wenn Sie es selbst oder auf einem externen HPC Cluster hosten, können Sie damit vermutlich machen, was sie wollen. Die Reaktionen aus der Branche waren ziemlich aufschlussreich. Sacia Nadella von Microsoft lobt Llama 4 weil Microsoft versucht, sich über die Partnerschaft mit OpenAI hinaus zu diversifizieren. Auch Sundar Pachai von Google gratulierte Meta, während Michael Dell sich einschaltete und ankündigte, dass Dell Lama 4 über seine Unternehmenslösungen hosten wird. Sogar große Risikokapitalgeber wie David Sachs feiern es und sagen, Open Source KI sei der Schlüssel für die USA, um ihre Führungsposition in der KI zu behaupten. All dies erinnert uns daran, dass wir uns inmitten eines verrückten Wettrüstens der großen Tech Player befinden. Jeder möchte den anderen in Bezug auf die Leistungsfähigkeit großer Modelle einholen oder übertreffen. Und es geht nicht nur um die Anzahl der reinen Parameter, es geht auch um Kosten, Effizienz und darum, welche Art von Ökosystem man um ein offenes Modell herum aufbauen kann. Lama 4 ist endlich da, zumindest teilweise, und verändert bereits die Open Source Key Landschaft. Erste Tests zeigen, dass die Leistung vielversprechend ist, insbesondere angesichts der Zugänglichkeit der Modelle. Das war's für dieses Video. Ich hoffe es hat euch gefallen. Falls noch nicht geschehen, abonniert uns jetzt. Danke fürs Zuschauen und wir sehen uns im nächsten Video.