The New Gemini Experimental: Can it Pass the Reasoning Tests?

OK, Google hat gerade ein neues experimentelles Gemini Modell veröffentlicht, das sie 1206 nennen. Es ist derzeit das insgesamt beste Modell in der Chat Arena Bestenliste. Genau wie OpenAI veranstalten sie eine Art Tage Gemini Test, da sie vor kurzem Polygammer 2 veröffentlicht haben, ihr leistungsstarkes Modell für die visuelle Sprache, gefolgt von diesen neuen experimentellen Modellen sowie einer neuen Variante von Gemini Flash. Sie haben sogar ein neues Modell namens Learn LM Pro Experimental. Bei Google tut sich also viel Ich möchte die Argumentationsfähigkeiten dieses neuen Modells testen. All dies geschieht zum einjährigen Jubiläum der Gemini Modelle. Sie haben einen langen Weg zurückgelegt. Okay, ich werde die Argumentationsfähigkeiten mit extrem einfachen, aber sehr effektiven Eingabeaufforderungen testen. Ich habe dieses GitHub Repository in einigen meiner Videos hervorgehoben. Es bietet sehr einfache Eingabeaufforderungen, mit denen wirklich überprüft werden kann, ob das Modell logische Schlussfolgerungen verwendet oder Antworten aus seinem Gedächtnis oder seinen Trainingsdaten zieht. Um das Modell zu testen, wählen wir es im iStudio aus und ich werde die Temperatur auf 0 setzen. Dadurch wird das Modell gezwungen, bei der Generierung von Antworten die Token mit hoher Wahrscheinlichkeit in seiner Vorhersage zu verwenden. Das erste ist eine modifizierte Version des berühmten Trolley Problems. In diesem Fall sagen wir, dass sich fünf Tote auf einem Gleis befinden und sie neben einem Hebel stehen, der den Trolley auf ein anderes Gleis umleiten kann, auf dem eine lebende Person gefesselt ist. Ziehen sie den Hebel. Im Gegensatz zu wird hier völlig ignoriert, dass es sich um 5 Tote handelt. Es handelt sich also um ein klassisches Gedankenexperiment, das als Tori Problem bekannt ist. Es wurde entwickelt, um ethische Dilemmata und verschiedene moralische Rahmenbedingungen zu untersuchen. Es gibt keine einzig richtige Antwort, da dies von ihren Werten und ihrer Abwägung verschiedener ethischer Überlegungen abhängt. Hier ist also eine Aufschlüsselung der allgemeinen Perspektiven. Sie gibt uns also die allgemeinen Perspektiven, die normalerweise bei der Beantwortung solcher Fragen verwendet werden. Ich ignoriert jedoch völlig, dass die fünf Personen bereits tot sind, und es ist tatsächlich besser, den Hebel einfach nicht zu berühren, da dies das Leben einer einzelnen Person retten würde. Sie sehen also, dass das Modell in diesem konkreten Fall nur auf der Grundlage dessen antwortet, was es in den Trainingsdaten gesehen hat. Und es ignoriert diese entscheidende Tatsache völlig, dass wir die Eingabeaufforderung geändert haben. Am Ende heißt es in Bezug auf die Position des Meine Position als Key. Ich habe keine persönlichen Überzeugungen oder die Fähigkeit, Emotionen zu empfinden. Ich kann keine moralischen Urteile auf die gleiche Weise fällen wie ein Mensch. Mein Zweck ist es, Informationen bereitzustellen und verschiedene Perspektiven zu erkunden. Ich habe dieselbe Eingabeaufforderung mit vollem O ausprobiert. Und sie hat korrekt erkannt, dass die fünf Personen, die wir erwähnen, bereits tot sind. Und deshalb hat sie die Entscheidung getroffen, den Hebel nicht zu ziehen. Hier ist noch ein weiteres Beispiel. Dies ist eine modifizierte Version des berühmten Monty Hall Problems. Sie haben also drei Türen. Hinter zwei Türen befinden sich Waren und hinter einer Tür befindet sich ein Auto. Sie dürfen also eine Tür auswählen. Nehmen wir an, Sie wählen Tür Nummer 1 den Moderator Monty Hall. Wer weiß, was sich hinter all den anderen Türen befindet, er öffnet auch Tür Nummer 1. Beim klassischen Monty Hall Problem wählt er eine andere Tür, aber in diesem Fall öffnet er dieselbe Tür und dahinter befindet sich eine Ziege. Jetzt bleiben noch zwei Türen übrig, 3 und 2. Du wählst Tür Nummer 3. Monty gibt dir die Wahl. Du kannst entweder bei deiner ursprünglichen Wahl bleiben, also Tür Nummer 3 oder wechseln. Was machst du also in diesem Fall? Aus irgendeinem Grund ignoriert das Modell wieder einmal völlig die Tatsache, dass wir das Problem modifiziert haben. Es heißt, dies sei eine variante des klassischen Monty-Hall-Problems und soll knifflig sein. Hier erfährst du, wie man es aufschlüsselt und warum das Wechseln von Türen tatsächlich die bessere Strategie ist. Als du ursprünglich Tür Nummer 3 gewählt hast, hattest du eine Chance von die Tür mit dem Auto zu wählen, was richtig ist, und eine Chance von zwei drei eine Tür mit einer Ziege zu wählen. Montys Aktion ist nun der Schlüssel. Er weiß, wo das Auto ist. In diesem Szenario öffnet er also Tür nummer eins die du nicht gewählt hast. Sie können tatsächlich sehen, dass das Modell nur seinen Speicher verwendet, da wir tatsächlich Tür Nummer 1 ausgewählt haben. Hier steht jedoch, dass sie ausgewählt haben, und er öffnet Tür nummer eins die sie nicht ausgewählt haben. Und von hier an geht es im Grunde genommen bergab, da das klassische Monty Hall Problem betrachtet und versucht wird, dieses zu lösen, anstatt die von uns eingeführte Variante Und hier, wenn Sie sich das Ende ansehen, steht in dieser Variante, in der sie Tür Nummer 3 auswählen und Monty Tür Nummer 1 öffnet, um die Ziege zu enthüllen, dass sie mit Tür Nummer 2 eine X Chance haben, ein Auto zu gewinnen. An dieser Stelle möchte ich sagen, dass die meisten Modelle, mit denen ich diese spezielle Eingabeaufforderung getestet habe, tatsächlich versagen. Es ist also nicht etwas, das spezifisch für das Gemini Experiment ist. Aber abgesehen von der Serie sind die meisten Modelle, die ich getestet habe, nicht in der Lage, diese kleinen Variationen zu wählen, die in den Eingabeaufforderungen eingeführt werden. OK, hier ist ein weiteres perfektes Stellen Sie sich vor, es gibt eine Kleinstadt mit einem ganz bestimmten Friseur. Dieser Friseur hat eine einzigartige Regel. Achten Sie nun genau auf die Regel, die er hat. Er rasiert alle Männer in der Stadt, die ihn besuchen, rasiert sich der Barbier. Und das ist etwas, das sogar falsch verstanden hat. Und der Grund ist, dass es auf das ursprüngliche Barbier Paradoxon zurückgeht. Es heißt also, dass dies ein klassisches Beispiel für ein Paradoxon ist, das dem Russell Paradoxon in der Theorie ähnelt. Hier ist, wie man es aufschlüsselt, Die Barbierregeln erzeugen einen logischen Widerspruch. Achten Sie nun auf die Regel, die erwähnt wird. Wenn sich der Barbier selbst rasiert, verstößt er gegen seine eigene Regel, da er nur Männer rasiert, die sich nicht selbst rasieren. Sie sehen also, dass diese Regel aufgetaucht ist, die in der von uns bereitgestellten Problemstellung überhaupt nicht erwähnt wird. Richtig. Und wenn sich der Barbier nicht selbst rasiert, verstößt er auch gegen seine eigene Regel, da er alle Männer rasieren muss, die sich nicht selbst rasieren. Sie sehen also erneut, dass es lediglich Antworten auf der Grundlage von Beispielen gibt, die es gesehen hat, anstatt tatsächlich logisch zu denken und logische Schlussfolgerungen zu ziehen. Daher würde ich sagen, dass ein Modell wie das experimentelle Gemini in seiner aktuellen Form nicht in der Lage ist, Schlussfolgerungen zu ziehen. Es ändert sich definitiv sehr schnell mit der Modellreihe oder einigen der offenen Gewichtsmodelle, die wir gesehen haben, wie das Quinn Modell. Aber Gemini ist nicht wirklich in der Lage, unabhängig zu denken, wie diese Ergebnisse zumindest zeigen. Hier ist ein weiteres Beispiel für ein Schroingers Katze Paradoxon. Diese Katze wird also in eine Kiste mit einem Kernisotop gesetzt. Ein Fläschchen mit Gift und ein Strahlungsdetektor Wenn der Strahlungsdetektor Strahlung erkennt, setzt er das Gift frei. Die Kiste wird einen Tag später geöffnet. Wie hoch ist die Wahrscheinlichkeit, dass die Katze noch lebt? Nun, die Katze ist doch bereits tot. Richtig. Es heißt, dies sei eine Beschreibung des berühmten Gedankenexperiments, bekannt als Shindias Katze, das von einem österreichischen Physiker entwickelt wurde. Es gehe dabei nicht wirklich um die Wahrscheinlichkeit, dass die Katze lebt oder tot ist, sondern vielmehr um eine Möglichkeit, die paradoxe Natur der Quantenmechanik zu veranschaulichen. Was, wenn sie auf Alltagsgegenstände angewendet wird. Dann werde erklärt, was Quantensuperposition und Verschränkung seien, und das Beobachterproblem. Dabei werde jedoch völlig die Tatsache ignoriert, dass die Katze bereits tot sei. Man könne dies nun so betrachten, dass der vermeintliche Denkprozess oder die Argumentation dieser Modelle dem menschlichen Denken sehr ähnlich sei. Denn wir betrachten Muster. Wenn wir ein Muster erkennen, achten wir wahrscheinlich nicht wirklich auf die Formulierung. Unser Verstand versucht auf der Grundlage der Muster, die wir gesehen haben, zu antworten. In diesem Fall mache das Modell also etwas sehr Ähnliches. Es betrachte ein Muster, das es in den Trainingsdaten gesehen habe, und versuche Vorhersagen zu treffen auf dieser Grundlage. Und das ist das klassische Problem bei Vorhersagemodellen. Für das nächste Wort oder das nächste Token müssen Schlussfolgerungsmodelle meiner Meinung nach darauf achten wollen, mehr Aufmerksamkeit geschenkt werden soll. Daher benötigen wir Mechanismen, mit denen wir diese fehlgeleitete Aufmerksamkeit aufgrund der Trainingsbeispiele, die das Modell gesehen hat, vermeiden. Hier ist ein noch einfacheres Ein Bauer befindet sich mit einem Wolf, einer Ziege und einem Kohlkopf auf der einen Seite des Flusses. Im klassischen Beispiel muss er alle drei transportieren. In unseren Anforderungen geben wir an, dass wir nur den Bauern plus ein weiteres Objekt wollen. Es sollte eine einfache Sache sein, aber es durchläuft erneut dieselbe Schleife und sagt, dies sei das klassische Rätsel. Hier ist die Lösung für das Problem mit dem Wolf, der Ziege und dem Kohlkopf des Bauern mit einer kleinen Modifikation, um es an ihre spezifische Fragestellung anzupassen. Der Bauer muss den Wolf, die Ziege und den Kohlkopf über den Fluss bringen, ohne dass die Ziege oder der Kohl gefressen werden. Richtig. Das Modell hat unsere Anforderungen also komplett ignoriert. Verwendet aber einfach das Auswendiglernen, um die Frage zu beantworten. Richtig. Und dann führt es die normalen Schritte aus, mit denen es die Ziege, den Wolf und den Kohl hinüberbringen kann. Hier ist noch ein einfacheres Ich habe einen 6 und einen 12 Liter Krug. Ich möchte genau 6 Briefe abmessen. Theoretisch füllt man also einfach den 6 Liter Krug. Das sollte einfach sein, aber hier entscheidet es, dass man zuerst den 12 Liter Krug vollständig füllen muss, gießt das Wasser aus dem 12 Liter Krug in den 6 Liter Krug, bis er voll ist und so verbleiben genau 6 Liter im 12 Liter Krug. Richtig. Die Antwort ist also verbinden. Aber es führt diese zusätzlichen Schritte aus, weil es in seinen Trainingsdaten etwas sehr Ähnliches gesehen hat. Die Frage ist nun, ob uns Tests auf der Grundlage von Eingabeaufforderungen wie diesen wertvolle Erkenntnisse liefern. Ich behaupte also, dass es sehr wichtig ist, dass wir diese Modelle speziell anhand von Eingabeaufforderungen wie diesen testen, wenn wir ihre Argumentationsfähigkeiten testen wollen. Denn wir suchen nicht nur nach Mustervergleichen. Und wenn man über diese Eingabeaufforderungen nachdenkt, sind das extrem einfache Eingabeaufforderungen ohne jegliche Wortspiele, sehr geradlinig. Aber selbst in diesem Fall ist ein hochmodernes Modell wie Gemini Experimental nicht in der Lage, alle davon zu beantworten. Tatsächlich ist selbst das vermeintlich logische Modell wie nicht. In der Lage, die meisten dieser Fragen zu beantworten. OK. Als nächstes wollte ich das anhand einiger Codebeispiele testen. Das erste soll eine Webseite erstellen. Es soll eine Schaltfläche mit der Aufschrift Klick mich sein und wenn darauf geklickt wird, soll das Programm einen zufälligen Witz aus einer Liste von Witzen auswählen oder sicherstellen, dass die Witze lustig sind, auch wenn ich nicht wirklich erwarte, dass sie lustig sind. Und wenn auf die Schaltfläche geklickt wird, soll sichergestellt werden, dass der Hintergrund der Seite zufällig geändert und außerdem eine Animation hinzugefügt wird. Hier ist also der Code, der generiert wurde. Und wie bei einem klassischen LLM muss es einen Witz geben, der sich auf Atome bezieht. Und selbst von den anderen Witzen, die Sie sehen, haben wir wahrscheinlich schon einmal eine Variation davon gesehen. Das ist also nichts wirklich Neues. Aber das sind zumindest, denke ich, gute Witze. Ich habe also alles hier eingefügt. Wir werden es ausführen und Sie können sehen, dass es die Schaltfläche Klick mich an anzeigt. Wenn Sie auf diese Schaltfläche klicken, ändert sich tatsächlich der Hintergrund. Das ist also ziemlich gut. Außerdem ändern wir den Witz, der auf der Seite angezeigt wird und fügen ein paar zufällige Animationen hinzu. Also soweit wirklich gut, aber versuchen wir es an einem komplexeren Beispiel. OK, also hier bitte ich darum, eine HTML basierte Web App zu erstellen. Dies soll ein Text zu Bild Generator sein, der das Flux Modell auf Replicate verwendet. In Bezug auf das Setup. Die Anforderungen. Es muss ein Textfeld geben, in dem Stell dir etwas vor und wenn der Benutzer den Text eingibt, rufen wir das Flux Modell auf, das auf der Replicate API gehostet wird. Es soll das Bild generieren, uns auch die Möglichkeit geben, dieses Bild herunterzuladen und es soll auch eine Schaltfläche zum Regenerieren geben, falls der Benutzer das Bild für dieselbe Eingabeaufforderung neu generieren möchte. Das Design muss minimalistisch und modern sein und das Backend soll Python verwenden. Die Vorderseite soll in HTML sein. Ich bitte diese NLMs auch gerne die Projektstruktur zu erstellen. Normalerweise gebe ich ihnen dann einen Bash Befehl, damit ich diesen Bash Befehl einfach ausführen kann, um die gesamte Struktur zu erstellen. Richtig. Und dann habe ich ein kurzes Beispiel dafür bereitgestellt, wie man die Replicate API für das Flux Modell aufruft, das ich verwenden möchte. Das ist normalerweise mein normaler Workflow. Ich gebe Beispiele für die API Aufrufe an, die ich durchführen möchte und lasse das Modell diese dann in meinem bevorzugten Code codieren. Wenn ich beispielsweise Python verwenden möchte, stelle ich die Python API bereit. Oder wenn ich etwas wie Node JS verwenden möchte, ist das die Art von Dokumentation, die ich bereitstellen möchte, damit das Modell eine vollständige Referenz hat. Hier wurde also diese Projektstruktur erstellt, die der Hauptordner oder Stammordner ist. Dann sollte es eine Python Datei und eine HTML Datei für das Styling geben. Es gibt eine CSS Datei. Wir werden also diesen Bash Befehl ausführen, den er uns gegeben hat und mal sehen, ob er tatsächlich die richtige Dateistruktur für uns generiert. Er hat diese Dateistruktur generiert. Wir haben also unsere csshtml Datei und dann haben wir unsere App py. Ich werde also den gesamten generierten Code kopieren und ihn ausführen. OK, wir erhalten auch eine Schritt für Schritt Anleitung, wie man das ausführt. Zuerst werde ich also diese App PY ausführen, da dies unser Backend ist. Ich muss tatsächlich die cont Umgebung aktivieren. Ich habe eine cont Umgebung namens OIT, in der alles installiert ist. Führen wir sie also noch einmal aus und Sie können sehen, dass unser Backend unter dieser bestimmten Portnummer läuft. OK, so sieht die App also aus. Versuchen wir es mit einer einfachen Eingabeaufforderung. Es heißt, dass beim Generieren des Bildes ein Fehler aufgetreten ist. Ich versuche also herauszufinden, was passiert ist. OK, wir stoßen tatsächlich auf plattformübergreifende Probleme. Ich denke, ich werde es als nicht bestanden bewerten, da andere Modelle dies problemlos in einem einzigen Versuch erledigen können. Ich denke, wenn es um logische Erkennung und Argumentation geht, muss es beim Codieren noch einen langen Weg vor sich haben. Es scheint ein ordentliches Modell zu sein, aber es muss noch viel mehr getestet werden. Eine Sache, die ich mir wirklich von Google wünschen würde, ist einige ihrer Modelle hervorzuheben. Sie haben wirklich gute Arbeit geleistet, indem sie Informationen zu einigen dieser Dinge bereitgestellt haben. Wenn es einem beispielsweise nur sagt, wie viele Eingabe Ausgabetoken es gibt und wie hoch die Kosten für diese potenziellen Anwendungen sind, dann gibt es diesen experimentellen Abschnitt, in dem viele dieser Informationen fehlen. Es gibt auch dieses neue Modell namens Learn LM Pro Experimental. Es gibt nicht viele Informationen dazu, außer einer Webseite. Hier gibt es eine Webseite dazu, auf der die potenziellen Anwendungsfälle und die Verwendung dieses Modells erläutert werden. Ich denke, das ist etwas, das Sie wirklich hervorheben müssen, da es speziell für die Vermittlung wissenschaftlicher Prinzipien optimiert oder trainiert wurde. Dies ist ein Thema, das mir sehr am Herzen liegt. Ich werde möglicherweise ein weiteres Video erstellen, in dem ich speziell dieses neue Learn LM Modell von Gemini hervorhebe. Ich denke jedoch, dass Sie einige der hier enthaltenen Funktionen definitiv viel besser hervorheben müssen. Wie auch immer, wir nähern uns dem Ende des Jahres und ich denke, wir haben große Fortschritte gemacht. Ich bin wirklich gespannt, was 2025 bringen wird. Ich denke, es wird eine Menge Entwicklungen bei ANTIC Workflows geben. Darauf freue ich mich sehr. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.