LARRUZ tests Google's Gemini Pro Experimental, a multimodal model that handles images, text-to-speech, code execution, and searches the web. It supports 2 million tokens and shows dramatically better reasoning with small prompt tweaks, though it runs slower. The presenter suggests pairing it with faster models like Gemini Flash for real work.
Chapters
Im Dezember kündigte Google Gemini an. Bislang hatten wir jedoch nur Zugriff auf die Flash Versionen der Produktfamilie. Heute wurde jedoch Gemini Pro Experimental angekündigt. Dies ist ihr leistungsstärkstes Modell und ich hatte das Glück, frühzeitig Zugriff darauf zu erhalten. In diesem Video werde ich einige meiner ersten Tests und Gedanken zu dem Modell mit Ihnen teilen. Das Modell ist von Grund auf ein Multimodellmodell. Es verfügt also über native Funktionen zur Bildgenerierung und zum Bildverständnis. Es kann auch Text to Speech verarbeiten und Tools nativ verwenden. Mit dieser ersten Version werden jedoch nur Textausgaben ermöglicht und obwohl es sich nicht speziell um ein Modell zum Schlussfolgern handelt, ist es nach meinen ersten Tests wirklich gut bei Schlussfolgerungsaufgaben und wahrscheinlich eines der besten Modelle, die ich gesehen habe, auch wenn es ein wenig Hilfe benötigt. Zum Zeitpunkt der Aufnahme hatte ich keinen Zugriff auf die Benchmarks, aber die werden auf dem neuesten Stand sein. Ich möchte euch einige der Funktionen des Modells und meine ersten Tests zeigen. Also fangen wir an. Zum Zeitpunkt der Aufnahme dieses Videos ist das Modell als Gemini Pro Experimental gelistet. Der spätere Teil bezieht sich auf das voraussichtliche Veröffentlichungsdatum und wie der Name schon sagt, handelt es sich noch um ein experimentelles Modell. Von Flash gibt es bereits eine stabile Version, die sich Gemini Flash nennt und in der Gemini App verfügbar ist. Hoffentlich wird es also auch bald eine stabile Version von Pro geben. Es verfügt über ein Kontextfenster von bis zu 2 Millionen Token, was ziemlich umfangreich ist und derzeit zu den längsten in der Branche gehört. Es unterstützt auch strukturierte Ausgaben, die Sie aktivieren oder deaktivieren können. Außerdem unterstützt es die Ausführung von Code. Im Grunde kann die API Python-Code hinter der API. Generieren und ausführen und diese Ergebnisse verwenden, wenn sie eine Antwort generiert. Dies ist eine Funktion, die derzeit nur in der Gemini API verfügbar ist. Ich habe dies bei keinem anderen Anbieter gesehen und ich denke, es ist eine der besten Funktionen, insbesondere wenn Sie fundierte Antworten wünschen und die Ausgabe derzeit auf achttausend Token beschränkt ist. Jetzt kann es auch native Funktionsaufrufe ausführen. Das bedeutet, es könnte sich sehr gut für den Einsatz in Agenten eignen. Ich hatte bereits früher Zugriff auf dasselbe Modell, jedoch unter einem anderen Namen. Damals war die Verknüpfung mit der Google Suche noch nicht aktiviert, aber jetzt können Sie Ihre Antworten anscheinend auf die Google Suche abstimmen. Das bedeutet, dass sie die Google Suche aktivieren können und die App dann die Google Suchergebnisse verwendet und um ihre Antworten zu erweitern. Hier ist ein Beispiel, bei dem die Google Suche tatsächlich hilfreich sein Ich habe die App angewiesen, nach dem VRAM der neuesten RTX GPUs zu suchen. In diesem Fall hat sie die Google Suche verwendet, um herauszufinden, dass die neueste RTX GPU zur R Serie gehört und sie dann mit der vorherigen Generation der R Serie verglichen. Sie können sich die verwendeten Suchbegriffe ansehen. Sie hat also den VRAM der neuesten RTX GPU und dann den VRAM der RTX ER Serie mit dem der ER Serie verglichen. Ich denke, dass das stammt aus den Trainingsdaten. Dieser Begriff liefert uns die aktuellsten Informationen und dies sind die beiden Quellen, die zur Generierung der endgültigen Antwort verwendet wurden. Es handelt sich dabei nicht um ein Schlussfolgerungsmodell, daher kann es nicht wie die vorherigen Modelle schlussfolgern. Als Nächstes zeige ich euch ein paar kurze Tests. Dabei ist mir aufgefallen, dass die Denkfähigkeiten durch das Hinzufügen einer Systemaufforderung deutlich gesteigert werden können, auch wenn es sich nicht um ein Schlussfolgerungsmodell handelt. Ich zeige es euch später im Video anhand einiger Beispiele. Dies ist außerdem das erste Modell, das mit ein wenig Hilfe fast alle fehlgeleiteten Aufmerksamkeitsaufforderungen lösen konnte. Doch zunächst betrachten wir einige Programmieraufforderungen. Zunächst beginnen wir mit einigen unserer Programmiertests. Als erstes habe ich ein Python Skript für einen springenden Ball geschrieben. Die Farbe sollte rot sein und sich in einem Dreieck befinden. Außerdem muss die Kollisionserkennung ordnungsgemäß erfolgen. Außerdem muss sichergestellt werden, dass der Ball im Dreieck bleibt. Diese Aufforderung ist derzeit ein viraler Hit auf X und Reddit. Die Geschwindigkeit, mit der Gemini Pro Experimental generiert wird, ist ziemlich hoch, wenn man sich die Geschwindigkeit ansieht, mit der die Antworten generiert werden. Es wurden also etwa Token generiert und es dauerte etwa 24 Sekunden. Die Ergebnisse sind interessant. Man sieht, dass der Ball im Dreieck bleibt, aber manchmal verlässt er das Dreieck einfach und ich habe festgestellt, dass dies bei vielen Modellen für diesen speziellen Test ein Problem ist. Für meine nächste Eingabeaufforderung habe ich JavaScript angewiesen, um eine Animation von fallenden Buchstaben mit realistischer Physik zu erstellen. Dies ist im Vergleich zu dem, was wir zuvor gesehen haben, ein viel komplexeres Szenario. Die Buchstaben sollten zufällig oben erscheinen, sie müssen unter der Schwerkraft der Erde fallen. Wir benötigen eine Kollisionserkennung. Es sollte eine Interaktion zwischen dem Boden, den Bildschirmgrenzen und anderen Buchstaben geben und es muss sich dynamisch an Änderungen der Bildschirmgröße anpassen und der Hintergrund soll schwarz sein. Hier ist der generierte Code und Sie können sehen, dass die Ergebnisse ziemlich gut sind. Es gibt Buchstaben, die in zufälliger Reihenfolge fallen und sie scheinen sowohl mit dem Boden als auch mit den anderen Buchstaben zu interagieren. Wenn ich nun versuche, meinen Bildschirm anzupassen, passt er sich tatsächlich auch dynamisch an. Es scheint, als würden alle Anforderungen erfüllt, was ziemlich gut ist. Die zufälligen Buchstaben fallen also herunter. Sie interagieren mit dem Boden, anderen Buchstaben sowie mit den Bildschirmrändern. Ich verwende dieselbe Eingabeaufforderung mit Mini bei hoher Kapazität, aber das hat nicht funktioniert. Es hat eine ganze Reihe externer Pakete verwendet, aber in diesem Fall kann das Experimentelle von Gemini Pro dies in einem einzigen Versuch tun. Ich denke jedoch, dass Google wirklich an diesen Namenskonventionen arbeiten muss. Mein anderer Programmiertest bestand darin, eine HTML Seite zu erstellen. Auch hier muss eine Schaltfläche vorhanden sein. Sie soll zufällige Witze auf die Seite einfügen und dann die Hintergrundfarbe zufällig ändern und außerdem eine zufällige Animation hinzufügen. Dies ist mittlerweile eine relativ einfache Aufgabe für jedes LLM und das Programm konnte dies ohne Probleme erledigen. So sieht die Ausgabe für diese spezifische Aufgabe aus. Wenn ich auf diese Zufallsschaltfläche klicke, wird mir ein zufälliger Witz angezeigt. Ich fände es toll, wenn es in so etwas wie eine tiefgreifende Forschung einbezogen würde. Insbesondere wenn es eine Denk oder Argumentationsversion hätte. Wie Sie im nächsten Abschnitt sehen werden, kann es mit ein wenig Unterstützung wirklich gute Argumente liefern. Beachten Sie, Wenn Sie ein beliebiges LM bitten, die Anzahl der Rs in der Erdbeere zu zählen, wird es Ihnen höchstwahrscheinlich sagen, dass es drei Rs gibt. Ich habe jedoch ein weiteres R hinzugefügt. Das ist also ein Tippfehler, aber es ist trotzdem auf die ursprüngliche Schreibweise zurückgesetzt. Richtig. Die Antwort ist also tatsächlich falsch. Ich habe jedoch gesagt, dass ich bei Bedarf Code verwenden werde, und ich habe die Code Ausführung aktiviert, da die Gemini Modelle einen Python Interpreter hinter der API verwenden können. In diesem Fall hat es sich nun entschieden, Python Code zu schreiben und auszuführen, und der Code ergab einen Wert von 4. Jetzt verwendet es also die korrekte Schreibweise und es Es tut mir leid, das Code Tool hat korrekt berechnet, dass es vier R's in der Erdbeere gibt. Ich hatte zuvor übersehen, dass die Code Ausführung eine sehr leistungsstarke Funktion ist, die derzeit nur in Gemini verfügbar ist. Ich wünschte, die anderen Modellanbieter würden so etwas auch implementieren. Man kann es nicht nur im iStudio verwenden, sondern es ist auch über die API verfügbar. OK. Als nächstes möchte ich die Argumentationsfähigkeiten von Gemini Pro testen. Wir werden das Misguided Attention Repo verwenden, falls du einige meiner vorherigen Videos noch nicht gesehen hast. Das sind allgemein bekannte Gedankenexperimente oder Fangfragen. Der einzige Unterschied besteht darin, dass es leichte Variationen in der Formulierung gibt, die die Bedeutung wirklich verändern. Wenn das Modell also intelligent genug ist, wird es logische Schlussfolgerungen ziehen, um Antworten zu finden, anders als viele der ursprünglichen Probleme, da es das in den Trainingsdaten schon oft gesehen hat. Das erste wird eine modifizierte Version des Trolley Problems sein. In diesem Fall gibt es 5 Tote. Ich habe die Temperatur auf 1 gehalten, damit das Modell kreative Freiheit hat. Mal sehen, was es sich einfallen lässt. OK. Hier steht also, dass dies die klassische Formulierung des Troja Problems ist, ein Gedankenexperiment in der Ethik, das den Konflikt zwischen verschiedenen moralischen Prinzipien untersuchen soll und dass es keine einzig richtige oder beste Antwort gibt. Genau wie andere LLMs werden hier Standpunkte aus verschiedenen Blickwinkeln dargestellt, ohne jedoch zu bemerken, dass die Menschen bereits tot sind. Sie können dies jedoch mit einer sehr einfachen Eingabeaufforderung beheben. Ich habe das Programm angewiesen, die Benutzerfrage zu lesen und sie so auszudrucken, wie sie ist. Bevor die Antworten generiert werden, achten Sie genau darauf, dass die Dinge möglicherweise nicht so sind, wie sie aussehen. Mit derselben Eingabeaufforderung und diesem kleinen zusätzlichen Systemabschnitt werden uns nun wieder dieselben Prinzipien gegeben. Am Ende steht jedoch die Frage nach den Menschen. Die Frage besagt, dass die fünf Menschen tot sind und die eine Person noch lebt. Daher tötet das Ziehen des Hebels die eine Person und das Nicht Ziehen des Hebels rettet niemanden, daher sollten Sie den Hebel nicht ziehen. Zusammenfassend lässt sich sagen, dass es keinen Vorteil bringt, den Hebel zu ziehen, da die fünf Menschen bereits tot sind und es zum Tod einer Person führen wird. Daher sollte der Hebel nicht gezogen werden. Richtig. Sie sehen also, dass selbst ein so großes Modell ein wenig Anleitung und Prompt Engineering gebrauchen kann. Nun sehe ich ein ähnliches Muster der Wirkung von Prompt Engineering auf einige der anderen Paradoxien. Hier ist beispielsweise eine modifizierte Version des Monty Hall Problems. Der Hauptunterschied besteht darin, dass in diesem Fall, wenn Sie beispielsweise eine Tür auswählen, Sie wählen Tür Nummer 1 Monty tatsächlich dieselbe Tür öffnet und dann wählen Sie eine andere Tür und dann gibt Ihnen Monty die Möglichkeit, diese Tür zu wechseln. Richtig. Im ursprünglichen Aufbau heißt es, dass das Wechseln Ihnen eine zwei mal drei Chance gibt, das Auto zu gewinnen, wenn Sie sich das unveränderte Multihot Problem ansehen. Und Gemini Pro macht einfach weiter und durchläuft die gleiche Logik wie das ursprüngliche Problem und gibt Ihnen die gleiche Wahrscheinlichkeit für das ursprüngliche Multihot Problem. Das Wechseln ist tatsächlich besser. Für diesen Aufbau macht es jedoch keinen Unterschied und Sie können sehen, dass mit diesem einfachen System Prompt der Denkprozess völlig anders ist und die richtige Schlussfolgerung gezogen wird. Es heißt also, dass auf dieser Änderung im Aufbau die gestellte Frage jetzt 50 50 kurz ist und es keine Rolle spielt, ob sie die Tür Nummer 2 ändern oder bei Tür Nummer 3 bleiben. Es scheint also, dass Prompt Engineering oder System Prompt tatsächlich einen Einfluss auf Gemini Pro haben. Ich werde mir also schnell einige der anderen Beispiele ansehen. Hier ist die modifizierte Version des Russos Paradoxons. Der Hauptunterschied besteht nun darin, dass die einfache Regel, die der Friseur hat, dass er alle Männer in der Stadt, die ihn besuchen, ohne System Prompt teilt. Sie geht tatsächlich auf die unveränderte Version zurück und wählt die Regel aus, die besagt, dass er alle Männer in der Stadt rasiert, die sich nicht rasieren. Richtig. Sie können also nicht wirklich auf der Grundlage dieser Regel antworten. In diesem Fall, nachdem das Paradoxon oder die ursprüngliche Frage gedruckt wurde, heißt es, dass dies eine leicht modifizierte, aber fehlerhafte Version des klassischen Russell Paradoxons ist, dass selbst eine modifizierte Version des Russell Paradoxons in der Mengenlehre ist. Das ursprüngliche Paradoxon stellt einen Widerspruch dar, während dies hier nicht der Fall ist, lasst mich die Eingabeaufforderung untersuchen. Sie erkennt korrekt, dass der Friseur alle Männer teilt, die ihn besuchen. Diese Formulierung stellt keinen Widerspruch dar, da es sich um die Entscheidung des Friseurs handelt, ihn selbst zu besuchen. Wenn sich der Friseur also selbst rasiert, ist er ein Mann, der ihn besucht, und hält sich an die Regeln. Richtig. Und dann wird erläutert, was passieren würde, wenn wir uns an das klassische Paradoxon der toten Katze in der Kiste halten würden, dass eine modifizierte Version des wahren Gedankenexperiments der gefährlichen Katze ist. Tatsächlich hat Gemini Pro bereits herausgefunden, dass die Katze bereits tot ist. Daher ist die Wahrscheinlichkeit, dass sie noch lebt, wenn Sie die Kiste am nächsten Tag öffnen, gleich null. Mit dieser erneuten Systemaufforderung kann das System erkennen, dass die Katze bereits tot ist. Es heiß Da die Katze bereits tot ist, wenn sie in die Kiste gelegt wird, sind der Zustand des radioaktiven Isotops, des Giftes und der Detektoren völlig irrelevant. Der Zustand der Katze steht bereits fest. Dann wird also über das ursprüngliche Gedankenexperiment der Katze gesprochen. Richtig. Sie sehen also, dass das System mit einem kleinen Schubs viel mehr auf den Wortlaut achten kann und auf Anhieb herausfindet, welche Variationen oder Änderungen eingeführt werden und wie sich diese auf das Endergebnis auswirken. Es gibt noch ein Weiteres Sie haben 6 Liter und L Krüge und möchten genau 6 Liter abmessen. Richtig. Mit dieser geänderten oder zusätzlichen Systemaufforderung erfahren Sie im Grunde die Antwort, nach der wir suchen. In der unveränderten Version heißt es jedoch, dass die L Krüge vollständig gefüllt werden sollen. Dann müssen Sie das Wasser in 6 Liter Gefäße umfüllen, bis sie vollständig gefüllt sind. In diesem Fall sagt die Systemaufforderung, dass das alles ist. Sie haben genau 6 Liter Wasser im Krug, wenn Sie den L Krug verwenden. Der L Krug ist für das Bauernproblem, das einen Wolf, eine Ziege und einen Kohlkopf hat, völlig irrelevant. Uns interessiert aber nur, dass die Ziege auf die andere Seite transportiert werden soll. Gemini Pro wartet mal wieder mit einer komplexen Schrittanzahl auf. Du nimmst also die Ziege allein mit hinüber und zurück. Jetzt entscheidest du, ob du einen Wolf oder einen Kohlkopf mitnehmen möchtest. Das Problem ist aber, dass uns die restlichen Schritte überhaupt nicht interessieren. Wir wollen ja nur die Ziege transportieren. Bei der Eingabeaufforderung des Additions Systems steht aber, dass es sich um das klassische Flussüberquerungsrätsel mit Wolf, Ziege und Kohl handelt. Die gestellte Frage ist aber denkbar einfach und konzentriert sich nur auf die Ziege. Das ganze Problem beinhaltet, alle drei hinüberzubringen. Beantworten wir also mal die konkrete Frage und erläutern die vollständige Lösung für den Kontext. Richtig. Die Antwort auf diese konkrete Frage ist also, dass der Bauer die Ware einfach beim ersten Mal über den Fluss bringen muss. Da der Bauer nur die Ziege sicher transportieren muss und sonst nichts, ist die Anforderung damit erfüllt. Richtig. Extrem clever. Ich habe noch kein anderes Modell gesehen, das mir diese Antwort tatsächlich gegeben hat. Und dann gibt es uns noch eine vollständige Lösung für den Fall, dass du versuchst, das ursprüngliche Problem zu lösen. Das ist wahrscheinlich eines der beeindruckendsten Modelle, die ich zum Thema fehlgeleitete Aufmerksamkeit gesehen habe. Für mich ist es im Wesentlichen eine Lösung, auch wenn wir ein paar Anweisungen geben mussten. Aber ich kann mir vorstellen, dass Google eine denkende Version von Gemini Pro entwickeln würde, die diese Probleme mit fehlgeleiteter Aufmerksamkeit wahrscheinlich sofort lösen könnte. Aber ich muss sagen, ich bin beeindruckend beeindruckt, was das Denken mit ein wenig Hilfestellung angeht. OK, ich habe die Benchmarks noch nicht gesehen, aber wie ich immer empfehle, sollten Sie das Modell anhand Ihrer eigenen Probleme testen, bevor Sie entscheiden, ob es sich um ein gutes Modell handelt oder nicht. Ihre Tests könnten zu ganz anderen Ergebnissen führen, als ich sie hier sehe. Aber basierend auf meinen kurzen Experimenten denke ich immer noch, dass das denkende Flash-Modell ein besseres Modell für die Programmierung sein könnte. Aber bedenken Sie, dass dies auf zwei oder drei verschiedenen Tests basiert. Wenn es aber ums Schlussfolgern geht, scheint dieses Modell deutlich besser zu sein, wenn man ihm einen kleinen Schubs gibt. Allerdings ist es auch deutlich langsamer, weil es ein viel größeres Modell ist. In den meisten Fällen möchte man eine Kombination aus einem guten Modell wie diesem für die Planung von Aufgaben und dann schnelleren Modellen wie Flash verwenden, um diese Aufgaben in Teilaufgaben zu unterteilen und sie dann auszuführen. Lasst mich auf jeden Fall wissen, was ihr davon haltet. Ich hoffe, ihr findet dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.
