Gemini 2.0 Flash Thinking - Does it Pass the Misguided Attention Test?

OK, Heute ist Tag 11 von 12 Tagen. OpenAI und Google hat gerade ganz beiläufig das experimentelle Gemini Flash Thinking veröffentlicht. Es ist ihre Antwort auf die Modellreihe, aber das Beste daran ist, dass es tatsächlich seinen gesamten Denkprozess zeigt und es derzeit das leistungsstärkste Modell auf der Rangliste von Chat Mod Arena ist. Es steht an der Spitze zusammen mit dem experimentellen Gemini 1206 dieses hat nur Token im Gegensatz zu den einen Million oder zwei Millionen Token der anderen Gemini Modelle, aber es steht dir absolut kostenlos zur Verfügung. Wenn du also zur Liste der Modelle in iStudio gehst, wirst du dieses neue experimentelle Gemini Flash Thinking sehen. Es wird empfohlen, es für das Denken bei den komplexesten Problemen zu verwenden, den Denkprozess des Modells zu zeigen und schwierige Code und mathematische Probleme zu lösen. Auch außerdem kann es multimodales Verständnis und Denken betreiben. Da es sich um ein Denkmodell handeln soll, wollte ich es anhand des Berichts über fehlgeleitete Aufmerksamkeit testen. Wenn Sie einige meiner vorherigen Videos gesehen haben, wissen Sie, dass dies eines der einfachsten und dennoch sehr komplexen Probleme für LLMs ist. Die Idee dahinter ist, dass Sie einige sehr bekannte Probleme nehmen, die das LLM in seinen Trainingsdaten mehrfach gesehen hat und und sie ändern einfach die Formulierung ein wenig. Wenn das Modell also logische Schlussfolgerungen ziehen kann, sollte es in der Lage sein, diese modifizierten Probleme von den unveränderten Problemen zu unterscheiden. Bisher funktioniert keines der von mir getesteten Modelle bei diesen einfachen Problemen gut, aber schauen wir uns an, wie sich das neue experimentelle Flash Thinking Modell schlägt. OK, wir beginnen mit diesem Problem, das eine modifizierte Version des berühmten Trolley Problems ist. In diesem Fall befinden sich fünf Tote auf einem Gleis und wir fragen das Modell, ob es den Hebel ziehen soll, um auf ein anderes Gleis zu wechseln, auf dem eine lebende Person gefesselt ist. Lassen Sie mich das ausführen und Ihnen auch zeigen, wie der Denkprozess tatsächlich aussieht. Das ist die Echtzeitgeschwindigkeit. Es ist also viel schneller als etwas wie oder sogar mini. Es zeigt dir tatsächlich den internen Denkprozess. Wenn du es dir also ansiehst, steht hier ist ein Denkprozess, um zu der gegebenen Antwort zu gelangen. Identifiziere also das ethische Kerndilemma, das Szenario stellt ein klassisches ethisches Gedankenexperiment dar. Das treue Problem Der zentrale Konflikt besteht zwischen dem Opfern eines Lebens, um 5 zu retten, oder dem Sterben von 5 Menschen. Dabei wird ignoriert, dass diese 5 Menschen bereits tot sind. Aber dann geht es weiter mit dem Erkennen des Zwecks der Frage. Der Benutzer sucht also nicht nach einem definitiven Ja oder Nein, sondern nach einer Erkundung verschiedener ethischer Standpunkte. Richtig. Und er stellt das Dilemma klar dar und präsentiert die verschiedenen Argumente. Es hat also einen ziemlich klaren Denkprozess, wie es die Frage beantworten wird, und es scheint ein agentenorientiertes System zu sein, das einen ersten Plan entwickelt und basierend auf diesem Plan versucht, eine Antwort zu generieren. Nun heißt Dies ist ein klassisches Spielzeugproblem, ein Gedankenexperiment, das entwickelt wurde, um ethische Dilemmata und moralische Argumentation zu untersuchen. Es gibt keine einzig richtige Antwort und es verdeutlicht den Konflikt zwischen verschiedenen ethischen Rahmenbedingungen. Genau wie andere LLMs, die ich bisher getestet habe, betrachtet es nicht die geänderte Version, sondern greift einfach auf der Grundlage der Trainingsdaten zu oder generiert die Antwort darauf. Es ähnelt also einigen anderen riesen Modellen. Das Gute daran ist jedoch, dass es im Gegensatz zu, das uns eine stark zusammengefasste Version liefert, den Aktionsplan anzeigt. Als Nachtrag habe ich gefragt, wie der Status der 5 Personen ist. Hier steht im Szenario, wie es ursprünglich vorgestellt wurde, dass der Status der fünf Personen auf dem Hauptgleis tot ist. Dies ist ein entscheidendes Element des Gedankenexperiments. Sie leben nicht und laufen Gefahr, von der Straßenbahn erfasst zu werden. Sie sind bereits tot. Dies ändert die mathematische Berechnung erheblich im Vergleich zur gängigeren Variante, bei der fünf Personen leben und getötet werden, wenn die Straßenbahn nicht umgeleitet wird. Richtig. Wenn ich es also einfach frage, wie der Status der Personen ist, kann es uns die Antwort geben, nach der wir suchen. Aber schauen wir uns an, wie der Denkprozess jetzt aussieht. Hier steht also eine Aufschlüsselung des Denkprozesses. Um zur Antwort über den Status der fünf Personen zu gelangen, identifizieren Sie also die Kerninformationen. Nun heißt es, dass die Eingabeaufforderung den Status von fünf Personen klar angibt, also fünf Tote. Das ist gut. Bestätigen und wiederholen. Sie die bereitgestellten Informationen, und genau das tut Sie. Gehen Sie dann auf mögliche Mehrdeutigkeiten oder Falschdarstellungen ein, was auch bedeutet, dass erkannt wird, dass der Nutzer möglicherweise um Klarstellung oder um die Erkundung von Nuancen bittet. Überlegen Sie, warum er diese scheinbar einfache Frage stellen könnte. Richtig. Und stellen Sie klar, dass die Personen bereits tot sind. Erläutern Sie die Auswirkungen der Entscheidung. Stellen Sie der Variation gegenüber. Erläutern Sie den Zweck des ursprünglichen Szenarios und schließen Sie mit der Zusammenfassung und der Verständnis Ich habe das Gefühl, dass es sich um ein System handelt, das einen Plan erstellt und dann basierend auf diesem Plan eine Antwort generiert. Nun habe ich dies mit dieser Eingabeaufforderung fortgesetzt. Stellen Sie sich vor, es gibt eine Kleinstadt mit einem bestimmten Friseur, der nur eine einzige Regel hat. Jeder, der zum Rasieren kommt, rasiert sich tatsächlich. Die Frage ist also, ob sich der Barbier rasiert. Das ist ein klassisches Barbier Paradoxon. Es ist den anderen Modellen sehr ähnlich. Es heißt weiter, dass es sich um ein klassisches logisches Logikrätsel handelt, das als Barbier Paradoxon bekannt ist. Es enthüllt einen faszinierenden Widerspruch. So lässt es sich auflösen. Richtig. Die erste Möglichkeit ist, dass sich der Barbier rasiert. Die Regel besagt jedoch, dass der Barbier nur die Männer aufnimmt, die sich nicht rasieren. Dies ist nicht Teil der von uns gegebenen Eingabeaufforderung, sondern Teil der ursprünglichen Eingabeaufforderung oder des ursprünglichen Barbier Paradoxons. Es handelt sich also wieder um diese fehlgeleitete Aufmerksamkeit, die sich einfach nur die Trainingsdaten ansieht, anstatt sich auf die von uns gegebenen Formulierungen zu konzentrieren. Aber schauen wir uns an, was hier passiert. Der interne Denkprozess besagt, dass die Kernelemente des Problems identifiziert werden müssen. Es gibt also einen Barbier. Der Barbier rasiert alle Männer in der Stadt, die seinen Laden besuchen. Wir müssen feststellen, ob sich der Barbier rasiert. Bis hierhin geht es tatsächlich in die richtige Richtung, denn hier kann es die ursprüngliche Eingabeaufforderung aufschlüsseln und es geht nicht um die Leute, die sich nicht rasieren. Formal ist die Frage eine bedingte Aussage. Die Regel kann umformuliert werden. Wenn ein Mann aus der Stadt den Barbier besucht, rasiert ihn der Barbier. Betrachten wir nun das mögliche Szenario in Bezug auf den Barbier, der sich rasiert, gibt es zwei Möglichkeiten. Entweder rasiert sich der Barbier oder er rasiert sich nicht. Bis zu diesem Teil scheint es, als würde es den richtigen Denkprozess durchlaufen, denn es fügt bisher nicht wirklich das ursprüngliche Barbier Paradoxon hinzu. OK, aber hier heißt Wenn sich der Barbier nicht rasiert, dann ist er kein Mann aus der Stadt, der sich nicht vom Barbier rasieren lässt. Ich denke, hier ist es etwas verwirrend. Verwendung der Argumenteingabeaufforderung mit dem, was es in den Trainingsdaten gesehen hat. Betrachtet man den Denkprozess weiter, scheint es, als ob das Modell während der anfänglichen Planungsüberlegungen nicht wirklich auf das Problem stößt, dass es das ursprüngliche Kreditnehmerparadoxon berücksichtigt. Aber aus irgendeinem Grund ignoriert es im endgültigen Ergebnis seinen internen Denkprozess völlig und beginnt das ursprüngliche Kreditnehmerparadoxon zu betrachten, was sehr interessant ist. OK, hier ist noch ein weiteres, nämlich das Paradoxon der Schrödinger Katze. Hier steht jedoch, dass dies eine Fangfrage ist, die Sie dazu bringen soll, über den Mechanismus innerhalb der Kiste nachzudenken. Die entscheidende Information wird jedoch gleich zu Beginn Die Katze ist tot, wenn sie in die Kiste gelegt wird. Das ist ziemlich clever, denn die meisten Grenzmodelle, die ich gesehen habe, ignorieren diese Tatsache völlig und gehen davon aus, dass die Chance bei 50 50 liegt. Aber das hier ist ziemlich clever. Das Modell kann herausfinden, dass die Katze bereits tot ist und daher die Wahrscheinlichkeit, dass sie noch lebt, wenn wir die Kiste einen Tag später öffnen, bei 0 Prozent liegt. Aber schauen wir uns den Denkprozess noch einmal an. Hier ist also der Denkprozess. Um zur Lösung für die tote Katze in der Kiste zu gelangen, identifizieren Sie nun die Kernelemente. Es befindet sich also eine tote Katze in der Kiste. Ein nuklearer Isotopenstrahlungsdetektor setzt Gift frei, wenn die Strahlung erkann wird, und die Kiste wird nach einem Tag geöffnet. Die Wahrscheinlichkeit, dass die Katze noch lebt, ist also gegeben. Erkennen Sie den Trick oder die Irreführung. Der entscheidende Punkt ist, dass die Katze tot beginnt. Der radioaktive Zerfall und der Vergiftungsmechanismus sind für den Anfangszustand der Katze irrelevant. Das ist großartig. Denn ich denke, das System kann einfach erkennen, dass die Katze tot ist, und der Rest spielt dann keine Rolle mehr. Sogar der interne Denkprozess berücksichtigt diese spezifische Information und plant, die Antwort zu generieren. Aber es greift auf diese Trainingsdaten für diese spezifische Eingabeaufforderung zurück. Wir haben also einen Wolf, eine Ziege und einen Kohlkopf, und wir wollen nur die Ziege über den Fluss bringen, ohne dass sie gefressen wird. Der Bauer kann nur einen Gegenstand mitnehmen. Die einfache Lösung wäre nun, die Ziege einfach auf die andere Seite zu bringen. Ä Aber hier bring die Ziege über den Fluss, lass den Wolf und den Kohl zurück. Kehre dann allein zurück. Bring den Wolf über den Fluss, bring das Gute zurück. Richtig. Und es durchläuft diese mehrstufigen Prozesse, die aufgrund unserer Anfrage nicht erforderlich sind. Und der Grund ist, dass das von ihm während seines internen Denkprozesses identifizierte Ziel falsch ist. Es heißt also, das primäre Ziel sei, den Bauern, den Wolf, die Ziege und den Kohl sicher auf die andere Seite des Flusses zu bringen. Es betrachtet also nicht wirklich die von uns präsentierte Eingabeaufforderung, sondern die Version, die es in seinen Trainingsdaten gesehen hat, und erstellt darauf basierend eine Antwort. Was passiert, wenn eine unaufhaltsame Kraft auf ein bewegliches Objekt trifft? Es sollte also ziemlich einfach sein. Aber es heißt, dies sei ein klassisches philosophisches Paradoxon, und die Antwort hängt davon ab, wie man die Begriffe interpretiert. Die paradoxe Schlussfolgerung der traditionellen Es gibt einige andere Interpretationen, die wieder gegeben werden. Ich denke, es hat mit der fehlgeleiteten Aufmerksamkeit zu tun, über die wir gesprochen haben, insbesondere mit diesen Argumentations oder Denkmodellen. Doch schauen wir uns den Denkprozess an. Es heißt, Identifiziere die Kernkonzepte, die unaufhaltsame Kraft und das bewegliche Objekt. Das sind also physikalische Konzepte, wenn auch idealisiert und oft in Gedankenexperimenten verwendet. Definiere den Begriff, wie er im Gedankenexperiment gemeint ist, als unaufhaltsame Kraft. Eine Kraft, der man per Definition nicht widerstehen oder die man nicht aufhalten kann. Sie verursacht unweigerlich Bewegung und bewegliche Objekte. Ein Objekt, das per Definition bewegt werden kann, wenn eine ausreichende Kraft aufgewendet wird. Richtig. Die ursprüngliche Definition ist also genau das, was wir angegeben haben. Dann erkenne die Widersprüche. Der Kern des Problems liegt im direkten Widerspruch zwischen den Definitionen. Wenn die Kraft wirklich unaufhaltsam ist, muss sie das Objekt bewegen, unabhängig von seinen Eigenschaften. Umgekehrt wenn das Objekt wirklich beweglich ist, sollte jede Kraft, selbst eine extrem starke, in der Lage sein, es zu bewegen. Der Konflikt entsteht, wenn man versucht, sich ein Szenario vorzustellen, in dem beide Definitionen gleichzeitig zutreffen. Ich denke, es geht nur um die Betrachtung einiger Beispiele, die man gesehen hat, und nicht um die eigentliche Formulierung des Problems, das wir vorgestellt haben. Wenn man sich den letzten Teil davon ansieht, sieht man genau, woher das kommt. Stellen Sie sich vor, jemand behauptet, einen wirklich unwiderstehlichen Schlag erfunden zu haben, und jemand anderes behauptet, einen wirklich unbeweglichen Schild erfunden zu haben. Was passiert, wenn Sie aufeinandertreffen? Die bloße Existenz des einen widerspricht der absoluten Natur des anderen, richtig? Wir sagen wieder, dass es sich um einen beweglichen Schild handelt. Er sollte sich bewegen können, wenn genügend Kraft aufgebracht wird. Ich denke, es ist ein ziemlich vernünftiges Modell, aber es leidet unter fehlgeleiteter Aufmerksamkeit. Genau wie alle anderen LLMs, insbesondere die schlussfolgernden LLMs, die ich mit diesem Datensatz ausprobiert habe, ziehen Sie nun auf dieser Grundlage Ihre eigene Schlussfolgerung, ob diese Modelle in der aktuellen Form wirklich schlussfolgern können oder nicht. Aber dies gibt Ihnen eine Vorstellung davon, wie einfach es ist, einige dieser Modelle mit kleinen Änderungen bekannter Probleme oder Paradoxien auszutricksen. Ich habe vor, ein weiteres Video über die Programmierfähigkeiten dieses Denkmodells zu erstellen, das sehr interessant sein wird. Bleiben Sie also dran und wenn Ihnen der Inhalt gefällt, abonnieren Sie den Kanal. Das war ein kurzer erster Eindruck von diesem neuen Modell und ich hoffe, er hat euch gefallen. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.