Google’s Gemma 3: The Best Open-Weight Model Yet?

OK. Google hat also Gemma 3 veröffentlicht, das neueste Open Wait Modell, dieses Mal jedoch mit mehreren Modellen. In den letzten Monaten hat Google richtig Fahrt aufgenommen. Sie haben so viele Dinge veröffentlicht, dass es wirklich schwer ist, den Überblick zu behalten. Aber Gemma 3 ist etwas Besonderes, denn es ist nicht nur das neueste Open Weight Modell, sondern wahrscheinlich auch das leistungsstärkste Modell seiner Größe, wenn es um menschliche Vorlieben geht. Tatsächlich ist ES das erste Open Weight Modell seiner Größe, das mit einer beeindruckenden Punktzahl von 1339 in die Top 10 der Chatpot Arena Bestenliste gelangt. Damit liegt es direkt zwischen Deepseak V und Deepseak R in der Chatpot Arena BestenlistE, was für ein Modell seiner Größe eine beeindruckende Leistung ist. Es handelt sich nicht um ein einzelnes Modell. Es gibt tatsächlich vier verschiedene Modelle in dieser Familie, die bei einer Milliarde beginnen und bis zu 27 Milliarden reichen. Google versucht also wirklich den gesamten Markt zu erobern, sogar die kleineren Edge Geräte wie Mobilgeräte und Webbrowser. Tatsächlich zeigen sie eine Demo einer App, die auf einem Android Telefon läuft. Sie können diese Android Anwendung auf ihr Telefon herunterladen und ausführen, falls sie neugierig auf die Anforderungen Hier ist das Telefon, auf dem das Modell Gemma 3 eine Billion ausgeführt wurde. Zurück zur Modellfamilie. Das Modell eine Billion verfügt über ein Kontextfenster von Token. Es ist das einzige, das nur Englisch unterstützt und nicht über mehrere Modelle verfügt. Die übrigen Modelle verfügen über ein viel größeres Kontextfenster von Token, was sie alle sehr nützlich macht. Sie sind alle mehrsprachig mit mehr als 140 Sprachen und können auch Eingaben in Form von Text, Bildern und kurzen Videos verarbeiten. Es gibt auch ein Shield namens Gemma 2, das ihr Modell zur Inhaltsmoderation ist. Sie haben auch einen detaillierten technischen Bericht für die GEMA Familie veröffentlicht. Die Architektur dieser Modelle unterscheidet sich geringfügig von der vorherigen GEMA Familie. Wir werden über einige der Innovationen und die Art und Weise sprechen, wie dieses Modell trainiert wurde, aber das Modell 27 Billion ist dasjenige, das wirklich hervorsticht. Tatsächlich ist es bei einigen Benchmarks sogar besser als das vorherige Gemini 1.5 Pro, und bei fast allen Benchmarks, ja sogar bei den meisten Benchmarks schlägt es die vorherige Version von Flash, was angesichts seiner Größe eine ziemlich beeindruckende Leistung ist. Ich möchte noch einmal betonen, dass ihr Fokus wirklich auf der Verbesserung der Modellleistung lag, so dass die menschliche Präferenz höher ist, was sich in diesen Ranglisten Ergebnissen im Chatbot Bereich zeigt. Unabhängige Tests wie dieser von Artificial Analysis zeigen jedoch, dass es in der allgemeinen Leistung mit etwas wie Quin vergleichbar ist, einem Modell mit 32 Milliarden Anweisungen. Dies könnte also ein sehr guter Kandidat für etwas wie kreatives Schreiben sein, aber ich würde keine kleineren Modelle zum Programmieren verwenden. Bevor wir Ihnen nun zeigen, welche Art von Hardware Sie dafür benötigen und bevor wir uns einige Tests ansehen, schauen wir uns an, wie dieses Modell trainiert wurde. Da es sich um vier verschiedene Modelle handelt, wurden Sie mit einem neuen Tokenizer trainiert, der diese mehrsprachige Unterstützung ermöglicht. Auch die Anzahl der für jedes dieser Modelle verwendeten Token ist unterschiedlich. Das kleinere Modell wird mit bis zu 2 Billionen Token trainiert, während das größere Modell mit 14 Billionen Token trainiert wird. Dabei sprechen wir hier vom Prä Training. Hierbei handelt es sich nicht um Schlussfolgerungsmodelle. Für das Post Training haben Sie eine vierstufige Post Trainingsstrategie übernommen. Zuerst erfolgt die Destillation aus größeren Instruct Modellen in GEMA Pre Training Checkpoints. Hierbei handelt es Sich um destillierte Versionen eines viel größeren Modells, möglicherweise eines der größeren Gemini Modelle. Anschließend verwenden Sie Reinforcement Learning aus menschlichem Feedback, um die Modellvorhersage an die menschlichen Präferenzen anzupassen. Dies zeigt sich im EDA Score, da es bei menschlichen Präferenzen tatsächlich sehr gut abschneidet. Dann wollten Sie aber auch das mathematische Denken verbessern und dafür verwenden Sie Reinforcement Learning aus maschinellem Feedback. Wahrscheinlich lieferte ein viel größeres Modell und möglicherweise ein Schlussfolgerungsmodell Feedback, um seine mathematischen Fähigkeiten zu verbessern. Dann habe ich noch Reinforcement Learning aus dem Ausführungsfeedback, um die Codierungsfähigkeiten zu verbessern. Einer der Vorteile von Codierung ist, dass Sie den Code ausführen und dem Modell Feedback darüber geben können und ob der Code korrekt ausgeführt wurde oder nicht. Das zeigt sich auch in den Codierungsfunktionen. Und wie bereits erwähnt, handelt es sich um ein Multimodellmodell. Die größeren Modelle können also Bilder, Text und kleinere Videos als Eingaben verarbeiten. Bevor wir uns den Test ansehen, schauen wir uns die verfügbaren Modelle an. Alle Gewichtungen für alle vier dieser Modelle sind auf Hugging Face verfügbar. So dass Sie sie herunterladen und lokal ausführen können. Google hat sowohl die Basis als auch die Instruct Version veröffentlicht. Die Basisversionen sind ziemlich gut, insbesondere wenn Sie Ihre eigenen Modelle optimieren möchten. Dies ist also ein wirklich guter Schritt von Google. Eine weitere großartige Sache, die Google getan hat, ist, dass sie offizielle quantisierte Versionen all dieser Modelle bereitstellen. Das ist eine wirklich gute Nachricht, da die Leute diese Modelle normalerweise herunterladen und quantisieren müssen. Aber jetzt haben wir offizielle Versionen dieser Modelle, die quantisiert sind. Sie haben diese modelle also mit 32 bit, 16 bit, 8 bit und 4 bit Präzision. Diese Tabelle gibt Ihnen außerdem eine Vorstellung davon, welche Art von Hardware Sie benötigen, um diese Modelle auszuführen. Wenn Sie beispielsweise das Milliarden Modell mit voller Genauigkeit ausführen möchten, benötigen Sie wahrscheinlich mehrere H. Wenn Sie jedoch die sehr nützliche Bit Genauigkeit verwenden möchten, benötigen Sie einen einzelnen H mit 80 GB VRAM. Sie können dies nun auf Consumer Hardware ausführen, z. B. Einem 3090 1490 oder 5090 wenn Sie sich für die Bit Quantisierungsversion entscheiden. Es ist also wirklich großartig zu sehen, wie sehr sich Google dafür einsetzt, diese Open Weight Modelle mit einer relativ toleranten Lizenz zu veröffentlichen. Bedenken Sie, dass es sich nicht um Apache oder MIT handelt, aber es ist immer noch sehr tolerant und Google ist wahrscheinlich das einzige Unternehmen, das sowohl die proprietären Modelle als auch die leistungsstarken Open-Weight-Modelle in den USA. Veröffentlicht. Wie bereits erwähnt, können Sie diese Gewichtungen herunterladen und lokal ausführen. Oder wenn Sie das Modell einfach nur testen möchten, hat Google es sehr einfach gemacht, genau wie die anderen Modelle. Das GEMA 37 Milliarden oder 27 Milliarden Modell. Genau wie alle Google Modelle ist das GEMA Milliarden Modell im Eye Studio verfügbar und sie können dieses Modell kostenlos auf Ihrer Plattform verwenden. Das macht das Experimentieren sehr einfach und es ist ein sehr einfach zu handhabendes Modell. Wenn ich also einfach nur Hallo sage, werden Sie feststellen, dass es im Vergleich zu einigen anderen Modellen viel aussagekräftiger ist. Und ich denke, das ist einer der Gründe, warum es in der Rangliste der Chatbot Arena so weit oben. Punkten und eine sehr hohe Punktzahl erzielen konnte. Wie bereits erwähnt, erwähnt, werde ich dieses Modell wahrscheinlich nicht für Codierungszwecke verwenden, aber für kreatives Schreiben halte ich es für ein sehr gutes Modell. Als ich es Nun erzähl mir etwas über dich. Löste es aus irgendeinem Grund die Wahrscheinlichkeit für unsichere Inhalte im iStudio aus. Google muss wirklich an diesen Sicherheitseinstellungen arbeiten. Ich setze sie mal herunter und schaue, was passiert. Jetzt erhalte ich keine Warnungen für unsichere Inhalte. Wenn man es einfach bittet, mir etwas über sich zu erzählen, sind die Antworten, die es erzeugt, sehr wortreich. Nun, es ist wirklich gut im kreativen Schreiben. Bitten wir es also, diesen Bildschirmtext zu beenden. Sei ich BMA 3. Mal sehen, was ihm einfällt. OK, nicht schlecht. Es erzählt also über sich selbst. Dann heißt Jemand hat mich gebeten, den Aktienkurs von GameStop zu berechnen. Er steigt. Warum ist er vielleicht so optimistisch? Sie sagen, Sie sind ein Sprachmodell und kein Finanzberater. Richtig? Also es ist eigentlich ganz gut. Dieses Modell kann jetzt programmieren, aber ich würde nicht empfehlen, kleinere Open Weight Modelle zum Programmieren zu verwenden, vor allem, wenn sie Zugriff auf etwas wie Sonnet 3.5 haben. Ich denke, die kleineren Modelle sind nicht leistungsfähig genug. Daher werden wir es hier bitten, ein HTML Skript für den hüpfenden roten Ball in einen Sechseck zu schreiben. Und diese Eingabeaufforderung ist im Moment viral. Sie könnten es in den Trainingsdaten verwendet haben. Wir werden bald sehen, was passiert, Aber hier hat es angefangen, den HTML Code zu generieren. Im Moment ist es relativ langsam. Während das läuft, sind mir ein paar neue Dinge in iStudio aufgefallen. Sie können jetzt Dinge in Kaggle und in Vortex öffnen. Das ist neu. Ich werde mir das wahrscheinlich ansehen und vielleicht ein neues Video über iStudio selbst erstellen. Lass lasst mich wissen, ob das etwas ist, das euch interessiert. Außerdem hat Unslot gerade ein neues Tutorial veröffentlicht, wie man Yammer 3 optimiert und ausführt. Wenn ihr also Interesse habt, lasst es mich wissen. Ich werde ein detaillierteres Video über die Optimierung von GEMA 3 für eure eigenen Anwendungen und eure eigenen benutzerdefinierten Aufgaben erstellen. Okay, es lässt sich bisher tatsächlich etwas Zeit Es sind fast drei Minuten vergangen, aber es hat den gesamten Code generiert. Also werden wir ihn einfach kopieren und schauen, was passiert. OK, fügen wir den Code hier ein. Wir werden ihn ausführen und wir sehen ein rotierendes Zig Zag, aber es gibt keine rote Kugel. Was ist hier passiert? Okay, ich habe ihm gesagt, dass ich keine rote Kugel sehe, da Sie haben absolut recht, das zu betonen. Entschuldigung, ich habe im endgültigen Code einen kritischen Fehler gemacht. Ich habe die Kollisionsbehandlung und die Drehung eingefügt, aber vergessen den Ball nach dem Aktualisieren seiner Position tatsächlich zu zeichnen. OK, das ist nicht gut. Okay, es hat also wieder fast drei Minuten gedauert, dies zu generieren. Kopieren wir das? OK, wir starten eine neue Sitzung, kopieren den Code und ja, ich verwende dieses Modell nicht zum Codieren. Halten Sie sich zum Codieren entweder an Cloud Sonit oder eines dieser anderen proprietären Modelle. Ich würde kein lokales Modell zum Codieren empfehlen. Dies soll nun ein Multimodell sein, aber als ich versuchte, ein Bild hochzuladen, stieß ich tatsächlich auf dieses Problem. Das aktuelle Modell unterstützt keine Bilder. Es liegt also wahrscheinlich eher an der Google Key als an dem G Milliarden Modell. Das ist ein wenig enttäuschend, aber ich habe einige Demos von Google gesehen, die tatsächlich die Bildverständnisfunktionen zeigen. Wahrscheinlich müssen wir also Code schreiben, um das zu testen. Insgesamt sehen die gemeldeten Benchmarks, die unabhängigen Benchmarks aus dem Chatbot Arena Leaderboard und sogar die Benchmarks aus der künstlichen Analyse ziemlich gut aus. Es ist ein ordentliches Modell für seine Größe und könnte ein wirklich großartiger Schreibbegleiter sein. Ich konnte die Multimodell Fähigkeiten nicht testen, das ist wahrscheinlich ein Thema für ein anderes Video. Aber zum Programmieren empfehle ich dieses Modell wie gesagt, nicht. Ihr solltet wahrscheinlich größere Modelle verwenden, wenn ihr einen Programmierassistenten benötigt. Ich werde ein paar Folgevideos erstellen. Insbesondere interessiere ich mich dafür, dieses Modell für ein Multimodell Rack zu verwenden. Wenn euch das interessiert, schaut euch mein lokales GBT Vision Projekt auf GitHub an. Damit könnt ihr eure Dokumente mit Hilfe von Vision Modellen bearbeiten. Es behandelt also jede Seite als Bild und führt sowohl den Abruf als auch die Generierung mit Hilfe eines Vision Modells durch. Ich werde in diesem Projekt auch Unterstützung für GEMA 3 hinzufügen. Haltet also die Augen offen. Ich versuche zu meinen Open Source Projekten zurückzukehren, insbesondere für Leute, die sich für lokales GPT interessieren. Es wird ein großes Update geben. Wie auch immer, lasst mich in den Kommentaren wissen, wie eure Erfahrungen mit dem GEMA Theme sind. Und wenn ihr an Inhalten rund um Das Thema Lumpenbeschaffung, LLMs und Agenten interessiert seid, dann abonniert unbedingt den Kanal. Ich hoffe jedenfalls, dieses Video war hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.