Same LLaMA 4 Models, 5 Providers—Very Different Results!

Ich habe das neue Lama für Scout bei fünf verschiedenen Anbietern mit derselben Eingabeaufforderung getestet und die Ergebnisse sind wirklich überraschend. Es gibt mehrere verschiedene API Anbieter, die dieselben Lama 4 Modelle zu unterschiedlichen Preisen hosten. Die Frage ist Bieten sie die gleiche Leistung oder liegt ein anderer Fehler vor? Daher habe ich mich entschieden, dieselbe Eingabeaufforderung bei fünf verschiedenen Anbietern zu verwenden. Wir werden das offizielle Metahosting, OpenRouter, Grok, Togethereye und Fireworks verwenden. Hier ist die Eingabeaufforderung, die ich verwendet. Es handelt sich um eine Variante des Balls, der in einem Sechseck hüpft, aber viel komplexer. Schreiben sie also ein HTML Programm, das 20 Bälle zeigt, die in einem rotierenden Sechseck hüpfen. Alle Bälle sollten den gleichen radius haben, von 1 bis 20 nummeriert sein und alle in diesen spezifischen Farben aus der Mitte des Siebenecks fallen. Sie sollten der Wirkung von Schwerkraft und Reibung ausgesetzt sein und realistisch von den rotierenden Wänden abprallen. Keiner der Bälle sollte beim Abprall den Radius des Heptagons überschreiten, sondern immer größer sein als der Ballradius. Dabei geht es um die Absprunghöhe. Die Bälle sollten sich mit Reibung drehen. Die Zahlen auf dem Ball können verwendet werden, um dessen anzuzeigen. Der Heptagon dreht sich um seinen Mittelpunkt. Die Rotationsgeschwindigkeit beträgt 60 Grad pro 5 Sekunden. Das Heptagon sollte groß genug sein, um alle Bälle aufzunehmen. Ich habe alle Anbieter gebeten, die Daten in einer einzigen HTML Datei zusammenzufassen. Ein paar weitere Erstens teste ich das Lama nur für Scout. Der Grund dafür ist, dass nicht alle von mir ausgewählten Infants Anbieter die Maverick Version anbieten. So hostet Grok beispielsweise derzeit nur Lama 4 Scout. Zweitens setze ich, sofern verfügbar, die Temperatur auf Null. Die Ausgabelänge beträgt mindestens 4000 Token. Grok liefert derzeit nur 8000 Token, was die Benutzerfreundlichkeit etwas einschränkt. OK, wir führen also die gleiche Eingabeaufforderung aus. Wir vergleichen außerdem die Generierungsgeschwindigkeit und die Ausgabequalität von metaeyer. Ich weiß nicht, ob Sie Maverick oder Scout hosten, da das schwer zu sagen ist. MetaEye hat jedoch ein ernstes Die maximale Anzahl an Token, die generiert werden können. Es heißt, metai habe sein Wortlimit für diese Eingabeaufforderung erreicht. Um fortzufahren, versuchen sie es mit einer spezifischeren Eingabeaufforderung. Ich habe also den Code einfach weiter vervollständigen lassen und er hat mir den vollständigen Code angezeigt. OK, der Moment der Wahrheit. Wir führen das aus. OK, OK, das war ziemlich schlecht. Es begann in der Mitte, was gut ist und das ist tatsächlich ein Siebeneck. Sobald es jedoch eine der Saiten berührt, stoppt es. OK, ich habe ihm gesagt, dass das Siebeneck seine Rotation stoppt, sobald der Ball stoppt und die Saite berührt. Also hat es mir einen aktualisierten Code angezeigt. Okay, wir haben den Code aktualisiert und schauen mal, was passiert. OK, Oh nein, hat nicht funktioniert. Als nächstes versuchen wir die gleiche Eingabeaufforderung auf OpenRouter. Ich verwende ein kostenloses Lama für Scout. Es gibt verschiedene Anbieter, aus denen Sie auf OpenRouter wählen können. Soweit ich weiß, bietet OpenRouter jedoch keine Möglichkeit, einige Hyperparameter wie Temperatur, benutzerdefinierte Anweisungen oder die Systemeingabeaufforderung einzustellen. Wir verlassen uns also einfach auf die Standard Systemeingabeaufforderung und die Standard Hyperparameter. Die Generierungsgeschwindigkeit scheint auch auf OpenRouter recht gut zu sein. OK, das ergibt etwa 66 Token pro Sekunde. Insgesamt wurden Token generiert, aber etwas wirklich Interessantes ist auf OpenRouter passiert. Es begann mit der Implementierung des Codes. Nachdem mir die erste Version bereitgestellt wurde. Heißt um einen besser strukturierten Code bereitzustellen, gibt es hier eine verbesserte Version. Das Modell scheint also über eine Art Schlussfolgerungsfunktion zu verfügen. Ich bin mir nicht sicher, aber es hat mir zwei verschiedene Versionen des Codes angezeigt. Wir beginnen also mit der verbesserten Version und schauen uns die Ausgabe an. OK, wir kommen hierher. Ich füge den Code ein. Führen wir ihn aus. OK, das ist wirklich interessant. Das Siebeneck konnte nicht korrekt gezeichnet werden. Es scheint 20 verschiedene Kugeln zu geben, obwohl die Anfangsbedingung erfüllt ist. Es fällt tatsächlich vom Zentrum ab, aber danach sehe ich keine wirklich realistischen Bewegungen. Die Kugeln bleiben einfach an derselben Stelle und das Siebeneck rotiert. Ich möchte auch die Originalversion testen, bevor ich die Optimierung vornehme. Also ersetzen wir diesen Code. Führen wir ihn aus und das funktioniert überhaupt nicht. OK, als nächstes kommt Grog, der extrem schnell sein wird. Ich setze die Temperatur auf 0 wir halten die maximale Anzahl an Abschlusstoken bei etwa 7000 was mehr als ausreichend sein sollte. Es gibt keine benutzerdefinierte Systemabfrage. Senden wir das und warten wir auf die Generierung. Sie sehen, dass 500 Token pro Sekunde generiert werden. Echt schnell, oder? Die Ausgabe hat nur etwa drei Sekunden gedauert. Man sieht gar nicht, wie die Ausgabe generiert wurde. Also gut, wir kopieren den Code und schauen mal, wie die Ausgabe aussieht. Soweit ich weiß, hosten alle Anbieter das Modell mit 8 Bit Fließkomma Präzision. OK, fügen wir das ein und führen es aus. Und das gleiche Problem Es startete in der Mitte, fiel ab, berührte die Seite und hörte dann auf zu rotieren. Wieder haben wir ein Siebeneck. Es hat also die ursprünglichen Anweisungen befolgt. Okay, ich habe es gebeten, das Problem zu beheben. Es hat mir den aktualisierten Code gegeben. Diesmal sind es wieder etwa 500 Token pro Sekunde. Wahnsinnig schnell, aber selbst mit diesem aktualisierten Code haben wir genau das gleiche Problem. OK, Als nächstes müssen wir über gemeinsame Key sprechen. Mit der gleichen Eingabeaufforderung erhielt ich einen Code, den ich ausführen sollte, aber danach lief es weiter. Hier wird beispielsweise erklärt, wie der Code funktioniert und dann heißt Viel Spaß mit deinen Hüpfbällen, viele Grüße, hoffe es gefällt dir. Lass es mich wissen. Prost, danke, tschüss, bis bald. Schönen Tag noch. Viel Spaß. So, und es geht immer weiter und weiter. Und dann heißt es Beste Grüße, Prost, danke, beste Grüße, danke. So, das scheint also ein bisschen wie ein Stamm zu sein. Er liefert uns 100 Token pro Sekunde und ich glaube, er hat ungefähr 8000 Token generiert. Also kopieren wir den generierten Code und führen ihn aus. Und ja, das ist schon ziemlich verrückt, was er macht. Erstens scheint das Siebeneck nicht richtig zu sein. Zweitens, ich glaube, er generiert auch mehrere Versionen der Bälle. Jetzt möchte ich das noch einmal ausführen. Also setzen wir die Temperatur auf Null. Die Ausgabelänge wird auf Auto gesetzt und es gibt keine Systemabfrage. Also lassen Sie es uns noch einmal ausführen und mal sehen, was die Ausgabe, die wir dieses Mal tatsächlich erhalten. Ich denke, einige der Probleme, die wir möglicherweise sehen, hängen mit den Konfigurationen zusammen, Denn meist stimmen die Konfigurationen nicht, wenn diese offenen Gewichtsmodelle veröffentlicht werden. Und ich habe mich wieder betrunken und angefangen diese zufälligen Token zu generieren, ziemlich schlecht. Sehen Sie mal, es bietet zwar viele Einstellungen, zum Beispiel Hyperparameter, aber ich rühre nichts davon an. Wir belassen alles auf den Standardeinstellungen, außer der Temperatur. Sogar die Ausgabelänge ist in diesem Fall automatisch. OK, ich habe den Code eingefügt. Lassen Sie uns ihn noch einmal ausführen und wir sehen genau das gleiche Problem mit togetherye. OK, das letzte ist Fireworks I. In diesem Fall habe ich genau die gleiche Eingabeaufforderung ausgeführt. Wir kopieren den generierten Code und sehen, wie die Ausgabe aussieht. Okay, wir fügen den Code ein und ja, es ist genau das gleiche Problem, das wir bei einigen Anbietern gesehen haben. Es startet gut in der Mitte, aber sobald es eine Seite erreicht, hört es auf zu rotieren. OK, ich habe es also auf das Problem hingewiesen. Es hat mir den aktualisierten Code angezeigt und der aktualisierte Code hat genau das gleiche Problem. Nun, das war neu, weil es einfach verschwunden ist. Es scheint also einige Unterschiede zwischen den verschiedenen Versionen desselben Modells zu geben, die gehostet werden. Ich spreche nicht von den Gewichten, sondern davon, wie sie von verschiedenen API Anbietern gehostet werden. Meines Wissens hosten alle das Modell in Bit Auflösung. Probieren wir das größere Maverick Modell bei einigen dieser Anbieter aus und sehen wir, wie es sich mit der gleichen Eingabeaufforderung verhält. Und bevor wir Maverick testen, sehen wir uns die Ausgabe mit Cloudsonet 3.7 ohne Nachdenken an. Wenn ich es starte, fällt es tatsächlich herunter und dann scheint alles den Anweisungen zu folgen. Die Bälle springen nicht, aber das liegt an der Reibung. Sie sehen, dass sich jeder Ball dreht, wenn er mit anderen Bällen kollidiert. Das ist also die erwartete Ausgabe. Unsere Optionen sind also begrenzt. Ich werde MetaEye nicht ausprobieren, da wir die Ausgabe bereits gesehen haben. Grog hostet das größere Maverick Modell derzeit nicht. Die einzige Option, die uns jetzt bleibt, ist die Kombination aus I, OpenRouter und Fireworks. Wir beginnen also mit OpenRouter. Ich füge den gleichen Prompt noch einmal ein. Senden wir den Prompt. Mal sehen, wie die Token Generierungsgeschwindigkeit für dieses größere Modell und die Ausgabequalität aussehen. OK, Wir erhalten etwa 60 Token pro Sekunde, insgesamt fast 2000 Token. Sehen wir uns nun an, was Maverick mit diesem Code gemacht hat. OK, eigentlich viel besser. Ich führe das noch einmal aus. Es begann genau in der Mitte, aber anstatt herunterzufallen, explodierte es praktisch. Ich denke, es ergibt immer noch Sinn und es scheint, als würden sie das ursprüngliche Problem ziemlich gut lösen. Ich hätte deutlich mehr Rotation erwartet, aber es scheint einigermaßen zu funktionieren, also gar nicht so schlecht. Ich denke, das aber wird bei diesen anderen Anbietern ziemlich hoch ausfallen. Wir testen also erneut Maverick Instruct. Die Ausgabelänge ist automatisch, die Temperatur ist auf 0 gesetzt und das nächste ist Together I. Senden wir also die Eingabeaufforderung. Mal sehen, was passiert. Ich bin gespannt, ob es das gleiche Wiederholungsproblem wie zuvor hat. Bisher so gut. Together schneidet jetzt in Bezug auf die Token pro Sekunde deutlich besser ab. Es wurden auch etwa 2000 Token produziert. Die Ausgabe scheint also hinsichtlich der Anzahl der Token ziemlich konsistent zu sein. Außerdem könnten wir das Design des Wiederholungspanels ändern. Das könnte sich auf das Wiederholungsproblem auswirken, das wir bei Llama Force Scout auf Together I festgestellt haben. Ich wollte aber alles auf dem Standard belassen, um einen fairen Vergleich verschiedener API Anbieter zu ermöglichen. OK, hier führen wir also die gleiche Eingabeaufforderung erneut aus. Sie funktioniert nicht so gut. Oh, OK, es fällt also von der Mitte ab und in der letzten Runde sehen wir, dass es einfach abfällt. Alle Kugeln fallen vom Siebeneck. Das sieht wirklich schlecht aus. OK, als nächstes probieren wir Feuerwerk KI aus. Mal sehen, welche Art von Feuerwerk wir tatsächlich erhalten. Wenn das Wiederholungsproblem nicht auftritt, werde ich diese Parameter wahrscheinlich mit der Key testen und sehen, was passiert. Die Generation. Die Generierungsgeschwindigkeit ist jedoch immer noch recht gut. Ich glaube, es werden 123 Token pro Sekunde generiert. Damit scheint Fireworks Eye in Bezug auf die Token pro Sekunde die zweitbeste zu sein nach Grog. Da Grok Maverick nicht hostet, scheint dies für mAverick der schnellste API Anbieter zu sein, den wir bisher getestet haben. Aber Geschwindigkeit ist nicht das einzige. Es muss funktionieren. Also habe ich den Code kopiert. Lassen Sie uns das ausführen. Und OK, das ist seltsam. Die Kugeln fallen herunter, aber sehr, sehr langsam. Und ich bin gespannt, Was passiert? Nein, sobald Sie eine der Seiten berühren, stoppen Sie einfach. Ich möchte also auch eine Key mit denselben Hyperparametern wie Fireworks I ausprobieren. Ich habe das also ausgeführt und mal sehen, was die Ausgabe aussieht. OK, lassen Sie uns also den Code ausführen und Nein. Ja, ich glaube, es tritt genau das gleiche Problem auf. Es fängt also gut an, aber dann fallen die Bälle einfach immer weiter, Sie verschwinden aus dem Bild. OK, ein paar Dinge wollte ich in diesem Video klären. Wie ich eingangs sagte, gibt es mehrere verschiedene Anbieter, die genau dasselbe Modell oder dieselben Gewichte hosten. Sie bieten je nach Hardware unterschiedliche Ausgabegeschwindigkeiten zu unterschiedlichen Preisen an. Es scheint jedoch definitiv Unterschiede zu geben, wenn man dasselbe Modell mit verschiedenen Inferenzanbietern verwendet. Wenn Sie also versuchen, einen dieser Inferenzanbieter zu verwenden, testen Sie mehrere davon auf Ihren Eingabeaufforderungen und wählen Sie den aus, der bei Ihrer spezifischen Eingabeaufforderung besser zu funktionieren scheint. Deshalb wollte ich einen einzelnen Prompt verwenden und sehen, wie all diese Inferenzanbieter die Ausgabe basierend auf demselben Hyperparameter generieren, sofern ich sie steuern kann. Ein zweites Beispiel ist diese Anlage, die ich besprechen möchte. Wir haben ein unabhängiges Benchmarking von Lama for Series. Basierend auf dem Durchschnittswert der sieben verschiedenen Evaluierungs oder Benchmarks scheint Lama for Maverick das drittbeste Modell für nicht schlussfolgernde Modelle zu sein. Llama for Scout belegt den zwölften Platz. Dies basiert auf den Gesamtergebnissen. Es ist also nicht spezifisch für einen Benchmark. Aber was die Gesamtintelligenz betrifft, diese wird wiederum vom KI Team anhand seiner eigenen Intelligenzmetrik gemessen, ist sie nicht so gut wie die von Deep K oder sogar QW, einem Modell mit 32 Milliarden Parametern. Manche würden argumentieren, dass es nur 17 Milliarden aktive Parametermodelle sind, da sowohl Maverick als auch Scouts eine Mischung von Experten sind. Die tatsächliche Größe der Modelle ist jedoch im Vergleich zu etwa 32 Milliarden deutlich größer. Unabhängige Benchmarks sind daher unerlässlich. Ich werde ein weiteres Video veröffentlichen, in dem ich speziell die Programmierfähigkeiten teste. Bei akademischen Benchmarks ist es wichtig, auch einzelne Benchmarks zu berücksichtigen, da dieser aktuell den dritten Platz in der Gesamtwertung belegt. Bei unabhängigen Benchmarks ergibt sich jedoch ein ganz anderes Bild. Betrachtet man beispielsweise die letzte Prüfung in Den Geisteswissenschaften für nicht logisch denkende Modelle, belegt das Modell LMA 3,18 Milliarden den dritten Platz. Maverick belegt den fünften Platz. Man muss also verstehen, was genau diese Benchmarks messen und dann basierend auf der jeweiligen Anwendung ein Modell auswählen. Aktuell gibt es drei verschiedene Benchmarks für das Programmieren. Einer davon ist Live Code Bench. Diesen hat Meta in seinem Blogbeitrag hervorgehoben. Hier belegt er den vierten Platz hinter GPD, Deepsea Q und Cloud 3.5 Sonnet. Auch Scoding, ein weiterer Programmier Benchmark, belegte den vierten Platz. Betrachten wir jedoch Human Evolve, einen weiteren Programmier Benchmark, fällt dieser auf den siebten Platz zurück. Daher ist es wiederum sehr wichtig, all diese Benchmarks ganzheitlich zu analysieren und sich nicht nur auf einen einzigen Benchmark zu verlassen, auch nicht in derselben Domäne. Es wird ein weiteres Video geben, in dem ich meine eigenen Tests durchführe. Wenn Sie daran interessiert sind, abonnieren Sie den Kanal und drücken Sie die Glocken Benachrichtigungstaste Eine letzte Das Kontextfenster. Maverick hat ein Kontextfenster von einer Million Token. Llamaforce Cloud soll ein Kontextfenster von 10 Millionen Token haben. Die Frage ist Gibt es überhaupt einen API Anbieter oder Infrastrukturanbieter, der diese Modelle hostet, um riesige Kontextfenster einzurichten? Ich denke, wir haben jetzt viel mehr Klarheit. Dies ist Lama für Scout auf OpenRouter. OpenRouter prüft grundsätzlich verschiedene Anbieter und ermöglicht ihnen deren Nutzung. Aktuell gibt es sechs verschiedene Anbieter auf OpenRouter für die kostenpflichtige Version von Lama für Scout und jeder von ihnen hostet dies mit unterschiedlicher maximaler Ausgabelänge und sogar maximalem Kontext. Der Großteil liegt bei Token. Parasale bietet Token und das sind wahrscheinlich auch die maximal verfügbaren Ausgabetoken. Deep Infra begrenzt dies auf zumindest 4000 Token auf Open Router. Grok ist ebenfalls auf 8000 Token begrenzt. Wenn Sie sich also für einen Infrastrukturanbieter entscheiden, achten Sie unbedingt auf das unterstützte maximale Kontextfenster. Beispielsweise reichen für eine Codierungsaufgabe 4000 Token in der Ausgabe nicht aus. Wir sprechen von einem Modell, das ein maximales Kontextfenster von 10 Millionen Token haben. Soll. Für Maverick gibt es deutlich bessere Optionen, wenn Sie hier nachsehen, stellt Deep In Frame Token in seiner Ausgabe bereit. Das ist das Maximum, das Sie erreichen können. Einige dieser anderen Anbieter bieten bis zu einer Million Ausgabe Token, was wirklich gut ist. Und ich denke, für alles Ernsthafte werden die Leute hauptsächlich Maverick statt Lama für Scout verwenden. Also um es noch einmal Wenn Sie einen API Inferenzanbieter für die Lama Serie auswählen, stellen Sie sicher, dass Sie mehrere davon basierend auf Ihrem eigenen Benchmark Datensatz testen. Achten Sie auf das maximale Kontextfenster und sogar die maximalen Ausgabetoken, die Sie bereitstellen, sowie auf unterschiedliche Preise und geschwindigkeiten. Und noch OpenRouter bietet über diesen Anbieter auch eine kostenlose Version an, die meiner Meinung nach ein viel besseres Kontextfenster im Vergleich zu einigen der kostenpflichtigen Optionen bietet. Dies wird jedoch ratenbegrenzt sein und interessanterweise wird es tatsächlich mit 16 Bit Präzision gehostet. Für Mavic gibt es wieder die kostenlose Option über denselben Anbieter. Dieses Mal ist sie auf Token begrenzt, was immer noch recht gut ist. Allerdings wird sie jetzt in Bit Format gehostet, was wahrscheinlich die meisten API Inferenzanbieter verwenden. Das war jedenfalls ein kurzes Video zum Vergleich verschiedener Anbieter. Lassen Sie mich wissen, welchen Sie bevorzugen, welchen Sie verwenden und welche Leistung sie mit Lama 4 basierend auf ihren eigenen Benchmarks erzielen. Wenn Sie an dem bald erscheinenden Testvideo interessiert sind, abonnieren Sie den Kanal. Ich hoffe, Sie fanden dieses Video hilfreich. Vielen Dank fürs Anschauen und wie immer bis zum nächsten Mal.