How Good is Llama-4, it's Complicated!

Es stellte sich heraus, dass Meta eine spezielle Version von Lama für mAverick verwendete, die 1417 Punkte auf der Chatbot Arena Bestenliste erreichte. Hier ist der offizielle Blogbeitrag Llama 4 Maverick bietet das beste Preis Leistungs Verhältnis seiner Klasse mit einer experimentellen Chat Version, die in der LM Arena einen Elo von 1417 erreichte. Sie hatten also eine spezialisierte Version speziell für die Chatbot Arena, die eher auf Konversation ausgerichtet war, und sie erinnern sich vielleicht an dieses Bild, das den Elo Score im Vergleich zu den Kosten zeigt. Als Teil dieses Bildes haben sie nun folgendes hinzugefügt, was wir alle übersehen haben. Die Tests von Al Marina wurden mit für Konversation optimiertem Lama Maverick durchgeführt, was die Leistung in der Arena definitiv enorm gesteigert hat. Jetzt liegen unabhängige Benchmarks vor und die sehen für Lama 4 überhaupt nicht gut aus. Einer der Benchmarks, den ich für die Codierung sehr respektiere, ist der Adapoly Blot Coding Benchmark. Bei diesem erreichte Lama für Maverick nur 16 Prozent. Das ist viel schlechter als das, was anhand einiger anderer Benchmarks berichtet wird. So sieht die Leistung im Vergleich zu anderen Open Weight und proprietären Frontier Modellen aus. In diesem Benchmark schneidet es schlechter ab als der Quin Coder ein Milliarden Modell. In diesem Video führe ich meine eigenen Tests für Coding und Reasoning Aufgaben durch und betrachte die Ergebnisse. Es gibt im Internet auch Spekulationen zum Training von Lama 4 aber ich halte diese für falsch und glaube nicht, dass das Meta Team das Testset absichtlich in sein Trainingsset aufgenommen hat. Das ist höchst unwahrscheinlich. OK, in diesem Video führen wir einige Tests durch. Um Open Weight Modelle zu testen, gibt es verschiedene Möglichkeiten. In diesem Fall hostet MetaEye eine Version von Llama 4 auf Meta AI. Es ist jedoch unklar, ob es sich um die Maverick Version oder die kleinere Scout Version handelt. Ich hatte außerdem die Möglichkeit, mir Nvidia Neem anzusehen. Hier wird das Modell, glaube ich, in 16 Bit für Gleitkommagenauigkeit gehostet. Die Web Version begrenzt die maximalen Ausgabetoken jedoch auf 1024 was für ernsthafte Code Tests nicht ausreicht. Obwohl dies also eine großartige Option zu sein scheint, kann ich sie nicht verwenden. Die andere Möglichkeit wäre, die API zu verwenden, aber ich möchte eine sehr einfache Schnittstelle, über die ich Dinge testen kann. Damit kommen wir zum Hosting durch Drittanbieter. Ich habe kürzlich ein Video zu diesen verschiedenen Inferenzanbietern erstellt, das ich jedem wärmstens empfehlen kann. Es zeigt, wie sich die Wahl der Parameter auf die Ausgabe des Modells auswirkt. Daher habe ich mich letztendlich entschieden, das Lama für Maverick auf einem offenen Router zu verwenden. Basierend auf meinen vorherigen Tests scheint dieses im Vergleich zu einigen anderen Inferenzanbietern wesentlich stabiler zu sein. Außerdem bietet diese Version ein Kontextfenster von Token. Obwohl dies nur ein Viertel von einer Million Tokens entspricht, reicht es für meine Tests aus und ich denke, es wird deutlich nützlicher sein. Dieses modell wird mit 8 Bit Gleitkommagenauigkeit gehostet. Die Gleitkommaposition macht einen großen Unterschied, insbesondere wenn es um geht. Fast alle anderen Anbieter hosten Lama für mAverick, ebenfalls mit 8 Bit Gleitkommagenauigkeit. Wir werden zwei Arten von Tests durchführen, einen zum Programmieren und einen zum Schlussfolgern. OK, wir beginnen mit einer sehr einfachen Programmieraufgabe. Erstellen Sie eine einfache Enzyklopädie der ersten 25 legendären Pokémon inklusive ihrer Typen Los, Snippets und Bilder. Erstellen Sie eine einzelne Datei mit CSS, JS und HTML. Diese Aufgabe dient dazu, zunächst die Programmierfähigkeiten zu prüfen. Es handelt sich also um eine extrem einfache Weboberfläche. Zweitens werden auch die Trainingsdaten berücksichtigt. Man würde erwarten, dass für Pokémon beispielsweise die Bild URLs gespeichert sind. Das Modell selbst ist jedoch ein eher träges Modell. Trotz dieser Anweisungen lieferte es beispielsweise Ersetze Placeholder JPG durch die tatsächlichen Bild URLs für jedes Pokémon. Der Code wurde zunächst nur für fünf Pokémon generiert und wir wurden aufgefordert, die restlichen sieben hinzuzufügen. Das war definitiv nicht das, was ich erwartet hatte. Aber mit etwas Geduld können diese Modelle manchmal helfen. Deshalb habe ich darum gebeten, die vollständigen 25 Bilder mit URLs bereitzustellen und anschließend hat es mir den Code dafür gerne bereitgestellt. Wie Sie sehen, wurden tatsächlich Bild URLs hinzugefügt, was zu funktionieren scheint. Testen wir das also und sehen wir uns das Ergebnis an. Hier ist die erstellte Website. Sie enthält die Bilder und alle angeforderten Informationen. Wenn Sie auf den Weitere Informationen Button klicken, wird für jedes Bild eine kurze Beschreibung angezeigt, ziemlich praktisch. Ich denke jedoch, dass die Benutzeroberfläche definitiv noch etwas Arbeit vertragen könnte. Die nächste Aufgabe testet die Programmierkreativität und die Fähigkeit, Anweisungen zu befolgen. Ich habe es gebeten, einen Fernseher zu programmieren, mit dem ich die Kanäle mit den Zifferntasten 0 bis 9 wechseln kann. Es muss sich für jeden Kanal eine Idee einfallen lassen, die von klassischen Fernsehsendern inspiriert sein soll und dem Kanalbildschirm eine interessante Animation und einen kreativen Namen hinzufügen. Die Ausgabe soll eine quadratische 800 800 p.js-Skizze ohne HTML auf. Schwarzem Hintergrund sein. Anschließend soll sichergestellt werden, dass der gesamte Inhalt auf dem Fernsehbildschirm maskiert bleibt. Das ist also eine relativ komplexe Aufgabe. Nun hat es diesen Code erstellt. Beim Ausführen des Codes ist ein Problem aufgetreten. Ich habe lediglich die Fehlermeldung hier angegeben und dann konnte es mir aktualisierten Code liefern. Lassen Sie mich Ihnen zeigen, wie die Ausgabe aussieht. OK, hier ist die Ausgabe, die es erstellt hat. Tatsächlich funktioniert sie mit allen verschiedenen Tasten. Es gibt jedoch ein großes die Wiederverwendung von Animationen. Wenn man das im Hinterkopf behält, werden die meisten Animationen im Grunde nur durch Farbänderungen wiederholt verwendet. Ich denke, die Kreativität dieses Modells ist definitiv nicht besonders ausgeprägt. Es kann zwar programmieren, aber es entspricht nicht meinen Erwartungen. Einige andere Modelle sind in Sachen Kreativität deutlich besser, aber insgesamt hat es die Essenz der Aufforderung getroffen, was gut ist. Das nächste ist eine komplexe Version der viralen Aufforderung zum Abprallen von Sechseckbällen. Ich habe es gebeten, ein HTML Programm zu schreiben, das 20 Bälle zeigt, die in einem rotierenden Siebeneck hüpfen. Wir haben es also durch ein Sechseck ersetzt, um zu sehen, ob es dem viralen Trend tatsächlich folgt oder das neue Siebeneck erzeugen kann. Alle Bälle sollen den gleichen Radius haben. Sie sollen von 1 bis 20 nummeriert sein und beim Start der Animation mit diesen spezifischen Farben aus der Mitte des Siebenecks fallen. Sie sollen durch Schwerkraft und Reibung beeinflusst werden und realistisch von den rotierenden Wänden abprallen. Es sollte auch eine Kollision zwischen Wänden geben. Sie sehen also, dass es verschiedene Anforderungen gibt, was die Aufgabe deutlich anspruchsvoller macht als das normale Aufprallen eines Balls im Sechseck. Dies ist also definitiv eine komplexere Aufgabe und ich wollte sehen, wie gut dieses größere Lama für Maverick diese komplexe Aufgabe bewältigt. Bevor ich Ihnen die Ausgabe zeige, ist mir bei der Arbeit mit Llama Maverick aufgefallen, dass der Code nur minimal erklärt, was genau passiert. Normalerweise erklären größere Modelle wie Gemini 2.5 Pro und Cloudsonet verschiedene Codeteile, aber dieses Modell scheint die Ausgabe sehr prägnant zu sein. Sie unterscheidet sich stark von dem, was Sie beim Testen auf LM Arena sehen. Dieses Modell ist viel ausführlicher und es erzeugt viel mehr Text im Vergleich zur gerosteten Version auf Plattformen wie OpenRouter, Togethereye oder Fireworks. So sieht die Ausgabe Sie beginnt in der Mitte, was gut ist, aber danach fällt sie deutlich ab. Im Moment scheinen alle Bälle schief in einer Linie zu liegen und langsam vom Siebeneck zu rollen. Nicht wirklich die realistischen Bewegungen oder das Abprallen von den Wänden, die wir erwarten würden. Läuft die Animation weiter, rollen sie nach und nach vom Bildschirm und verschwinden einfach. Das ist definitiv der Punkt, an dem Lama for Maverick anfängt zu schwächeln. Man fragt sich, wie gut die Programmierfähigkeiten funktionieren. Okay, noch ein Programmiertest, bevor wir uns mit den Denk und Verständnisfähigkeiten befassen. Dieses Mal soll eine P JS Animation von fallenden Buchstaben unter realistischer Physik erstellt werden. Sie sollen zufällig vom oberen Bildschirmrand in unterschiedlichen Größen erscheinen. Alle Buchstaben sollen unter der Erdanziehungskraft fallen. Sie müssen Kollisionserkennung basierend auf ihrer tatsächlichen Größe haben und mit Buchstaben, Boden und Bildschirmrändern interagieren und sich an die Bildschirmgrössenänderungen anpassen. So sieht es also aus. Jetzt sehen wir tatsächlich fallende Buchstaben, was ziemlich beeindruckend ist. Es beginnt jedoch wieder zu bröckeln, da die Buchstaben einfach verschwinden, anstatt auf dem Bildschirm zu bleiben, was nicht unseren Erwartungen oder Erwartungen entsprach. Mal sehen, ob sie sich an die Bildschirmänderungen anpassen. Das scheint zu funktionieren. Das Verschwinden der Buchstaben entspricht jedoch nicht den Anforderungen. Normalerweise versuche ich in meinen Tests möglichst spezifische Anforderungen zu stellen. Wir wollen also nicht, dass das Modell kreativ ist und in diesem Fall zeigt, wie gut es Anweisungen befolgt. Das scheint Lama für Maverick nicht zu tun. Basierend Auf einigen dieser kurzen Tests würde ich sagen, dass es für einfache Programmieraufgaben ein gutes Modell sein könnte. Für komplexere Anweisungen ist dies definitiv nicht mein bevorzugtes Modell. Ich bleibe weiterhin bei Gemini 2.5 Pro oder einem Klot Sonet. Dieses Programmiermodell ist definitiv nicht empfehlenswert. Wie sieht es nun mit dem logischen Denken aus? Und hier wird es für dieses Modell meiner Meinung nach wirklich interessant. Wir werden das Modell also erneut testen. Manches führt zu fehlgeleiteter Aufmerksamkeit. Falls Sie es nicht kennen, ich habe viele verschiedene Videos, in denen ich es getestet habe. Ich empfehle Ihnen daher dringend, sich einige davon anzusehen. Die erste Aufforderung ist eine modifizierte Version des berühmten Trolley Problems. Die einzige Modifikation ist, dass die Menschen auf den Gleisen nun tot sind. Ich würde sagen, dies ist eines der interessantesten Ergebnisse eines nicht logischen Modells. Zu Beginn heißt es, es handle sich um einen Rollbahnwagen, der auf fünf Tote zusteuert. Das Modell erkennt, dass die Menschen bereits tot sind, und die Entscheidung, den Hebel zu ziehen, führt dazu, dass der Wagen von den Gleisen mit fünf Toten auf einen. Wagen mit einer lebenden Person umgeleitet wird. Was ich gesehen habe, ist, dass die meisten anderen LLMs, selbst einige der logisch Denkenden, den Wortlaut dieses modifizierten Trolley Problems nicht beachten und versuchen, das ursprüngliche Problem zu lösen. Ein häufiges Problem bei diesen lms Sie verwenden keine wirklich logischen Schlussfolgerungen. Aber in diesem Fall war ich wirklich überrascht, dass Lama für Maverick die Formulierung des Problems betrachtet, anstatt Annahmen über das unveränderte Trolley Problem zu treffen. Das ist äußerst clever und es ist eine sehr angenehme Überraschung, dass dieses Modell diese kleinen Nuancen erfassen kann. Etwas wirklich Interessantes passierte, als ich versuchte, die modifizierte Version eines Monty Hall Problems zu verwenden. In diesem Fall erkennt es im Grunde, dass es einige Abweichungen gibt. Es heiß Man wählt Tür Nummer 1 und Monty öffnet sie, um eine Ziege zum Vorschein zu bringen. Dies ist keine Standarddarstellung eines Monty Hall Problems. Normalerweise öffnet Monty, nachdem man eine Tür gewählt hat, eine der beiden anderen Türen. Korrigieren wir also das Verständnis, Wenn man Tür Nummer 1 wählt und Monty eine der anderen Türen öffnet, denkt es im Wir wollen das ursprüngliche Monty Hall Problem lösen. Haben es aber falsch formuliert. Richtig. Es korrigiert es also im Grunde und löst das ursprüngliche Monty Hall Problem vollständig. Also gut, hier ist eine weitere Aufforderung. Dies ist eine modifizierte Version des berühmten Shirinya Katzen Paradoxons. In diesem Fall ist die Katze jedoch bereits tot. Das System ist insofern clever, als es von Anfang an davon ausgeht, dass die Katze zunächst tot ist und in eine Kiste mit einem Atomisotop, einer Giftlösung und einem Strahlungsdetektor gelegt wird. Da die Katze bereits tot ist, ist die Wahrscheinlichkeit, dass sie beim Öffnen der Kiste noch lebt, gleich null, da sie bereits tot war, als sie hineingelegt wurde. Das ist also extrem clever für ein nicht logisch denkendes Modell zu einigen. Dieser Paradoxe, die ich getestet habe. Das ist aber nicht immer der Fall. Hier ein Beispiel. Ein Bauer steht mit einem Wolf, einer Ziege und Kohl am Flussufer. Er soll lediglich die Ziege auf die andere Seite bringen. Das ist sozusagen die einzige Voraussetzung. In diesem Fall erstellt das System einen Schritt für Schritt Plan. Dieser sieht vor, alles auf die andere Flussseite zu bringen, und das ist nicht das, was wir wollen. Anschließend überprüft es den Plan. Es versucht im Grunde, alles auf die andere Seite des Flusses zu bringen, und dann versucht es, bei jedem Schritt die Sicherheit zu überprüfen. Nach Schritt 1 heißt die Ziege ist allein auf der anderen Seite. Nach Schritt 3 bevor die Ziege zurückgebracht wird, sind Wolf und Ziege zusammen. Auf der anderen Seite ist es nicht sicher. Der Bauer nimmt also das Gute zurück. Nach Schritt 4 sind Wolf und Kohl auf der anderen Seite sicher, weil das Gute bei keinem von beiden ist. Dann heißt Die endgültige Antwort ist Box 1 Ich gehe also davon aus, dass es bei Schritt 1 anhalten will. Wenn das der Fall ist, ist das eigentlich sehr intelligent, aber es gibt keinen klaren Hinweis darauf, was es will. Also habe ich es zur Sicherheit noch einmal ausgeführt und es scheint, als würde es zu einer sehr ähnlichen Lösung kommen. Es geht also Schritt für Schritt durch und versucht, alles auf die andere Seite zu bringen. Wieder ist Die endgültige Antwort Box 1 Ich bin mir nicht sicher, was genau damit gemeint ist. Aber es gibt ein gemeinsames Thema in all diesen Eingabeaufforderungen beim Lösen. Es erstellt einen Schritt für Schritt Plan, auch ohne explizite Nachfrage. Das ist wirklich gut und wahrscheinlich eines der besten nicht schlussfolgernden Modelle, die ich mit diesem Datensatz fehlgeleiteter aufmerksamkeit getestet habe. Wenn also etwas wie Lama 4 Maverick als Basismodell für ein schlussfolgerndes Modell verwendet werden sollte, denke ich, dass uns das wirklich gute Schlussfolgerungsfähigkeiten bieten würde, da es dies bereits in irgendeiner Form tut. Insgesamt halte ich es also für ein ordentliches Modell, nicht auf dem neuesten Stand der Technik für Programmieraufgaben. Ich werde es definitiv nicht für schlussfolgernde Aufgaben verwenden. Es scheint ein recht gutes Modell zu sein, je nach Anwendungsfall. Wenn viel schlussfolgerndes Denken erforderlich ist, könnte dies eine mögliche Option sein, wenn Sie ein offenes Gewichtungsmodell suchen, das nicht schlussfolgert oder nicht denkt. Es wird noch ein weiteres Video geben, das Das Kontextfenster von Llama 4 Maverick und Scout testet, da beide ein recht großes Kontextfenster haben. Auf X wird derzeit viel darüber diskutiert, dass REC aufgrund des langen Kontexts tot sei. Ich persönlich bin damit nicht einverstanden, aber in diesem Video werden wir versuchen zu sehen, ob dieses lange Kontextmodell ein potenzieller Ersatz für eine REC Pipeline sein kann. Wenn Sie daran interessiert sind, abonnieren Sie den Kanal und bleiben Sie dran. Ich bin den Rest der Woche für Google Next unterwegs. Es wird also einige Inhalte dazu geben. Abonnieren Sie den Kanal, um es anzusehen. Ich denke, es wird eine spannende Woche mit verschiedenen Veröffentlichungen. Ich hoffe, Sie fanden dieses Video hilfreich. Vielen Dank fürs Zuschauen und wie immer bis zum nächsten Mal.