o3 and o4-mini - they’re great, but easy to over-hype

Ich muss in ein paar Stunden einen Flug erwischen. Das hier wird also eine viel schnellere Version meiner normalen Videos. Aber Mini wurde zusammen mit von OpenAI veröffentlicht und erzeugt. Einen wahnsinnigen Hype. Aber ist der Hype gerechtfertigt? Nennt mich zynisch, aber sie neigen dazu, Leuten, von denen Sie wissen, dass sie ihre neuen Modelle massiv hüpen werden, frühzeitigen Zugang zu gewähren. Versteht mich nicht falsch, Sie sind viel besser als frühere Modelle, wie sie sind. Einfach nicht genial. Ich kann das auf verschiedene Weise beweisen, aber ich werde euch nur eine Auswahl geben. Und ja, ich habe den Großteil der Systemkarte gelesen und das Modell bereits 20 mal getestet. Ich sollte beide Modelle sagen, da es sich um Mini und handelt. Für diejenigen, die noch gar nicht mit KI vertraut Das sind übrigens die besten Modelle in Chat BT, was natürlich ein Unterschied zu Googles Gemini 2.5 Pro oder Anthropix Cloud 3.7 ist. Andere wie Tyler Cohn sagen, dass AGI ist Und ehrlich gesagt höre ich Leute über Tyler Cohn reden. Ich habe keine Ahnung, wer er ist, aber ich glaube nicht, dass AGI ist. Für mich ist AGI, wenn ein Modell bei den meisten Aufgaben, die ein Mensch erledigen kann, bessere Leistungen erbringen kann als der menschliche Durchschnitt. Bei Wissen, Codierung und Mathematik ist das absolut richtig, solange man sich nicht auf Experten konzentriert. Aber im Allgemeinen ist das nicht so sehr der Fall. Es gibt viele Beispiele, die ich hätte nennen können. Aber sehen Sie sich dieses an. Hier sind fünf Linien und ich habe gefragt, wie viele Überschneidungen Sie insgesamt haben. Es hieß Es gibt acht verschiedene Punkte, an denen sich die fünf gezeichneten Liniensegmente schneiden. Jetzt weiß ich, dass Sie vielleicht innehalten und wenn man die Linien extrapoliert, schneiden Sie sich vielleicht acht Mal. Ah, das ist nicht falsch. Nein, das ist genau das, was meinte. Hier ist zum Beispiel ein Schnittpunkt. Wie auch immer, ich kann hier nicht meine gesamte Theorie über AGI erklären. Dies ist ein sehr kurzes Video, aber es ist definitiv nicht frei von Halluzinationen. Das ist kompletter Quatsch. Und OpenAI weiß das. Es ist ein großartiges Modell und eine große Verbesserung. Ich denke, Mini ist an einem guten Tag möglicherweise mit Gemini 2.5 Pro vergleichbar, aber es ist definitiv nicht frei von Halluzinationen. Beide Modelle werden von Grund auf darauf trainiert, Werkzeuge zu benutzen, und ich denke, das ist eine epische Möglichkeit, Modelle zu verbessern und sie werden sehr schnell noch nützlicher werden. Falls du denkst, ich würde zu sehr schlecht reden. Es war das erste Modell, das bei den ersten 10 öffentlichen Fragen meines eigenen Benchmarks Simplebench 6 von 10 Punkten erreichte. Ich war von einigen seiner Antworten wirklich beeindruckt und obwohl ich nicht der Meinung bin, dass ein ziemlich alter Mann drei bis fünf Minuten brauchen würde, um auf die Spitze eines Wolkenkratzers zu klettern, hat es die Frage dennoch zum ersten mal von einem OpenAI Modell richtig beantwortet. Aber zurück zum Thema, das sie vorhin gehört. Manchmal kann es ziemlich grundlegende Fehler machen, wie z. B. Die Aussage, dass ein Handschuh, der aus dem Kofferraum eines Autos fällt, das über eine Brücke fährt, wahrscheinlich in den Fluss fallen wird, da der Kofferraum offen ist und sich der Fluss direkt darunter befindet. Was ist mit der Brücke passiert, wie ich in meinem letzten Video angedeutet habe, das vor drei bis vier Stunden veröffentlicht wurde. Manchmal beantwortet es diese Frage richtig, weil ich indirekt frühzeitigen Zugriff auf erhalten habe, aber meistens liegt es falsch. Ich weiß nicht, wie es Ihnen geht, aber wenn ich jemanden treffen würde, der über dem Genielevel ist, würde ich erwarten, dass er zumindest in Betracht zieht, dass der Handschuh aus dem Auto auf die Brücke fallen könnte. O Mini High erhält 4 von 10 Punkten bei den öffentlichen Fragen, was für ein kleines, schnelles Modell wirklich nicht schlecht ist. Beide Modelle werden übrigens in der Plus Version erhältlich sein, was mich wirklich darüber nachdenken lässt, ob ich für den Pro Tier bezahlen soll. Aber wie auch immer, hier sind die Preise. Diese Zahlen sagen Ihnen wahrscheinlich nicht viel, aber der wichtigste Vergleichspunkt sind und Gemini 2.5 Pro. Grob gesagt ist Gemini 2.5 Pro etwa drei bis vier mal günstiger als denken Sie also daran, wenn Sie sich gleich die Benchmark Ergebnisse ansehen, das erste Benchmark Ergebnis bezieht sich auf den Überlappungstest und ja, Gemini liegt richtig. Ach ja, und wenn wir schon von Multimodalität sprechen, Gemini 2.5 Pro kann sowohl YouTube Videos als auch nur Rohvideos verarbeiten. Kann das nicht. Ich war zunächst total begeistert, als ich sah, dass man Videos auf hochladen kann, aber es führt lediglich eine Analyse der Metadaten durch. Ich weiß, dass darauf trainiert ist, Tools nativ zu verwenden, und ich war besonders beeindruckt von der Art und Weise, wie es meine Benchmark Website analysiert, ein Bild und ein Titelbild dafür erstellt und eine eingehende Analyse durchgeführt hat, die ziemlich genau war. Es lieferte Spekulationen darüber, warum die Spitzenreiter besser waren und ehrlich gesagt einige ziemlich differenzierte Ratschläge zum Benchmark selbst und seinen Grenzen. Manche von euch werden jetzt vielleicht was Was ist mit dem Video zu WOW, das ich vorhin gemacht habe? Und KI entwickelt sich sehr schnell weiter. Schon vier oder fünf Monate können in der KI viel verändern. Es ist immer noch ein wow modell, nur nicht ganz so sehr wie beispielsweise gemini 2.5 oder manchmal sogar claude 3.7 es gibt aber noch ein weiteres wichtiges Detail, das sie in die Präsentation einfließen ließen. Sie sagten, dass, das ich im Dezember vorgestellt habe, Benchmark optimiert sei. Die Versionen, die wir erhalten, wie der ARK Preis bestätigte, sind in Bezug auf die Rechenleistung oder die Denkzeit kleiner als die Version, die sie getestet haben. Ich vermute, dass sie mit Benchmark optimiert meinten, dass sie viel länger denken lassen und viel mehr Inferenzzeit und Rechenzeit haben. Mit anderen Wir erhalten nicht ganz das Modell, das ARK AGI geschlagen hat. Noch ein paar kurze Details, bevor wir zu den Benchmarks kommen. Beide Modelle haben ein Kontextfenster von Token. Ich denke etwa Wörter, aber sie können bis zu Wörter ausgeben, was ich ziemlich cool finde. Ihr Wissens Kutov, den man sich als die Grenzen ihrer Trainingsdaten vorstellen kann, ist der 1. Juni 2024. Das ist vergleichbar Mittwoch Januar 2025 für Gemini 2.5 Pro. Es scheint und ich hatte noch keine Zeit, das zu überprüfen, dass sie es immer noch auf GPT 40 basieren. Daher das Fehlen eines aktualisierten Training Cutoff Datums Zeit für ein paar Benchmarks und hasst mich nicht dafür, dass ich buchstäblich nur einen Screenshot aus dem YouTube Video gemacht habe. Bei wettbewerbsorientierter Mathematik schneiden und Mini auf einem Datensatz, der nicht in ihren Trainingsdaten enthalten sein konnte, extrem gut ab. Als Referenz zu diesem Gemini 2.5 Pro erreicht etwa 86 Prozent. Nun, mit mehreren Versuchen erreicht Grok 3 93 Prozent. Wir wissen aber nicht genau, wie viele versuche das für OpenAI waren. Ich vermute nur den ersten Versuch. Wie die Sprecher bereits sagten, wenn man diesen Modellen die entsprechenden Tools zur Verfügung stellt, sind sie extrem gut und übertreffen einige dieser wettbewerbsfähigen mathematischen Benchmarks. Ebenso können Sie wettbewerbsfähigen Code, wenn man ihn benchmarken kann, in den Schatten. Diese Modelle und sogar andere Modellfamilien sind im Wesentlichen Evaluationsmaximierer. Wie ich bereits in meinem Video vor vier Stunden erwähnt habe, können Sie hier die Ergebnisse für wissenschaftliche Arbeiten auf Doktorandenniveau 83,3 und 81,4 als Gemini erhält 84 Prozent und Claude 3.7 Sonnet 84,8 Prozent. Das ist bei mehreren Versuchen für Claude, aber nur bei einem einzigen versuch für Gemini 2.5 Gemini 2.5 ist also bei einem einzigen Versuch besser als beide Modelle. Es erscheint ein wenig seltsam, heute Abend AGI zu erklären, aber nicht, da Gemini 2.5 Pro herausgekommen ist. Für mich sind beide keine AGI Modelle, aber ich bin kein AGI Leugner. Ich denke, dass es in den nächsten Jahren soweit sein wird. Die einfachste Version meiner Definition Wenn ich beispielsweise einem intelligenten Menschen vorziehen würde, könnten Sie ein ganzes Video ohne zufällige Störungen oder das Abschneiden wichtiger Bilder schneiden. Könnten Sie meine Amazon Einkäufe erledigen, ohne dass ich zehntausend Dollar Schulden habe. Ich verstehe es, wenn Sie schnelle Entwürfe erstellen, die unglaublich intelligent erscheinen und es oft auch sind. Sie sind unglaublich intelligent dieser Hinsicht viel intelligenter als ich. Ich könnte in keiner dieser Prüfungen eine dieser Punktzahlen erreichen, aber es ist ziemlich ratsam, Vergleiche mit dem menschlichen IQ anzustellen, denn wie viele verrückte Programmierer oder Doktoren kennen Sie, die so abschneiden, aber die Überschneidungen nicht zählen? Oder stellen Sie sich vor, dass sich unter dem Handschuh eine Brücke befindet, die herunterfällt. Wenn es in Ihren Trainingsdaten steht, ist es erstaunlich, wenn es nicht im MMU steht, das dem MMU insofern ähnelt, als dass es viele verschiedene Bereiche umfasst, sich aber auf Fragen mit Diagrammen, Tabellen, Grafiken und ähnlichen Dingen konzentriert erhält. Das ist wirklich besser als die 81,7 Prozent von Gemini 2.5 Pro, also ein großes Lob an OpenAI in dieser Hinsicht. Bei der letzten Prüfung der Menschheit, die man als Maßstab für wirklich obskures Wissen betrachten kann, war ich fast ein wenig enttäuschend, obwohl der vorherige Rekord von OpenAI selbst mit Deep. Research aufgestellt wurde. Fairerweise muss man sagen, dass Gemini 2.5 Pro schlägt, das in diesem Benchmark 18 Prozent erreichte. Aber wenn man bedenkt, dass Deep Research von einer frühen Version von angetrieben wurde, hatte ich etwas mehr erwartet, insbesondere mit dem neuen und verbesserten. Jemand sagte, es gäbe Python und Browsing Tools oder sogar ich dachte, sie hätten mehr Wissen eingebracht. Das ist ein bisschen hart, denn Sie fordern in diesem Benchmark nur ihren eigenen Rekord heraus. Also nochmal ein großes Lob an Sie. Die Versionshinweise von OpenAI waren ziemlich interessant. Laut Bewertungen von externen Experten machte weniger schwerwiegende Fehler. Das ist großartig. Aber was ist mit der Halluzinationsfreiheit passiert? Wenn ich einen Retweet von Sam Orman sehen würde, dass ein neues Modell halluzinationsfrei sei und ich ein durchschnittlicher Büroangestellter wäre, würde ich in Panik geraten. Was ist die Wahrheit? Es ist absolut nicht halluzinationsfrei und weniger Magiefehler zu machen ist großartig, aber es räumt dennoch ein, dass es schwerwiegende Fehler macht. Wie wir bereits in einem Teil des Polyglot Coding Benchmarks von ADA gesehen. Haben, können wir feststellen, dass mit hohen Einstellungen tatsächlich einen Rekord aufstellt. Es ist mehr als 10 Punkte höher als Gemini 2.5 Pro. Aber sie erinnern sich vielleicht, dass mit hohen Einstellungen, also langes Nachdenken mit vielen Torketten fast 200 US Dollar kostete. Das sind 6 US Dollar für Gemini. High könnte mit anderen Worten, Gemini 2.5 Pro überholen und daher weit verbreitet sein, aber zu extremen Kosten. Oder die TLDDR von all dem ist Selbst in den Bereichen, in denen die Führung übernommen hat, hat es nicht die kostengünstige Führung bei Code Excli übernommen, Ihrem Agenten, den Sie von Ihrem Terminal aus ausführen können. Sie zielen eindeutig auf Cloud Code ab, aber da es erst etwa zweieinhalb Stunden her ist, hatte ich noch keine Zeit, es zu testen. Natürlich könnte das durch OpenAI von Windsurf, den Konkurrenten von Cursor, selbst beschleunigt werden. Wenn Sie sich mein vorheriges Video ansehen, hat Kevin Weil, der Chief Product Officer von OpenAI, sehr deutlich gesagt, dass wettbewerbsfähiges Coding nicht immer dasselbe ist wie beispielsweise Frontend Coding. Sie müssen es also selbst testen. Wie immer kommt es darauf an, wie viele qualitativ hochwertige Daten in Ihrer Domäne vorhanden sind und tatsächlich auch auf die Vielfalt der Daten. Wie wir alle wissen, kann man beim maschinellen Lernen manchmal mit Datenbits übertrainieren, wie Sie in diesem Beispiel sehen können. Ja, das war übrigens. Ich wette, einige der ersten Kommentare werden sein wie sieht es mit einem Test beider Modelle auf simplebench aus, da die API heute Abend veröffentlicht wird. Nun, angesichts meines Fluges wird das wohl mein Kollege sein, der das hoffentlich heute Abend erledigen wird. Die Ergebnisse sollten also heute Abend auf der Website zu finden sein. Daumen drücken. Ich vermute, dass es Gemini 2.5 Pro knapp überholen könnte, auch wenn es deutlich mehr kostet. Aber wie die meisten von euch inzwischen wissen, könnten wir nicht auf simplebench testen ohne Waits in Beasses. Die Sponsoren des heutigen Videos. Wenn ihr euch ihre Weave Plattform ansehen wollt, könnt ihr das über die simplebench Website oder natürlich über den Link in der Beschreibung tun. Wir sollten ein paar Discord Workshops auf meinem Patreon durchführen, um euch den Einstieg in Weave zu erleichtern. Aber im Wesentlichen verwenden wir es, um diese Modelle zu testen. Es ist ein bisschen so, als säße man in einem dieser Mercedes, in denen man tausend Möglichkeiten sieht, Dinge zu optimieren, zu verbessern und zu vergleichen. Und wie ich bereits erwähnte, haben Sie eine KI Akademie mit kostenlosen Kursen. Wie immer vielen Dank an Waits in Beasses, dass Sie simplebench am Laufen halten. Nun zur Systemkarte, die ich aufgrund des Fluges zum ersten Mal in der Geschichte der KI Videos nur teilweise erklärt. Habe. Dennoch gibt es hier einige Highlights, bei denen Meta Beispiele für Belohnungshecken gefunden hat, um seine Punktzahl zu maximieren. Mit anderen Worten, nicht durch das Modell selbst, das die Herausforderung löst, sondern durch die Anpassung der Parameter, so dass es so aussieht, als hätte es die Herausforderung gelöst. Es ist ein bisschen so, als würde man ein Spiel hacken, um seine Punktzahl zu ändern und das Spiel zu gewinnen, und hat dies in etwa einem Prozent der Fälle getan. Erinnern Sie sich auch an das kürzlich von Meta veröffentlichte Paper, das ich mit den Autoren besprochen habe, in dem sich die Länge einer Aufgabe, die ein Modell bewältigen kann, alle sieben Monate verdoppelt. Nun, es gibt viele Vorbehalte gegen dieses Paper, aber Meta sagt, dass sie bei der Analyse von festgestellt haben, dass sie Fähigkeiten gefunden haben, die die anderer öffentlicher Modelle übertreffen und ihre Prognosen aus früheren Trends bei der Skalierung der Fähigkeiten übertreffen, die wir gesehen haben. Anders ausgedrückt, der Zeithorizont von Softwareaufgaben, die sie mit einer zuverlässigkeit von über 50 Prozent erledigen, könnte sich in weniger als sieben Monaten verdoppeln. Natürlich muss ich in anderen Videos noch einmal auf einige dieser Dinge zurückkommen, aber hier ist ein weiteres und Mini stehen kurz davor, Anfängern dabei zu helfen, bekannte biologische Bedrohungen zu entwickeln, die OpenAIs eigene Hochrisikoschwelle überschreiten würden, was bedeuten würde, dass sie das Modell nicht einmal veröffentlichen könnten. Ich erzähle den Leuten immer wieder, dass Anthropic und OpenAI aufgrund ihrer verantwortungsvollen Skalierungsrichtlinien den Leuten versprechen, dass sie bald nicht einmal mehr in der Lage sein werden, bestimmte Modelle zu veröffentlichen. Das wird für sie je nach ihrer Perspektive beruhigend oder enttäuschend sein. Aber zurück zur Entlarung, denn ich bin mir sicher, dass Sie heute Abend viele Miniaturansichten von ist AGI sehen werden, um diesen Lärm zu übertönen. Schauen Sie sich die vorstellungsgespräche mit einem OpenAI Forschungsingenieur an. Schauen Sie sich diese unglaubliche Exponentialfunktion von bis an. Naja, irgendwie nicht wirklich, außer dem Paperbench, das testet, ob Keys KI Forschungsarbeiten replizieren können. Ich wette, dieses spezielle Diagramm findet sich nicht in vielen verrückten AGI Thumbnails oder Videos wieder, die Sie heute Abend sehen. Schauen Sie sich die Leistung von an 24 Prozent und ohne Surfen 18 Prozent. O mini 25 Prozent. Ich verstehe es. Es ist kein perfekter Vergleich von Äpfeln mit Äpfeln, aber das ist nicht unbedingt eine exponentielle, zwingende Einschränkung. Ich erwarte im Laufe dieses Jahres Fortschritte. Ich sage nur, dass nicht jedes Diagramm den AGI Hype st. Lasse sie mit diesen beiden optimistischeren Gedanken zu zurück. Es mag zwar immer mehr Rechenleistung erfordern, aber die Leistung steigt und steigt weiter. Und das ist noch nicht einmal die Möglichkeit, dass die Modelle länger denken können, was eine weitere Achse ist, die wir ausnutzen können. Wie Nombr von OpenAI bereits sagte, gibt es in beiden Bereichen noch viel Raum für weitere Skalierung. Wenn man also die Schlagzeilen ignoriert und den Hype ausblendet, was ja eigentlich ein guter Rat für alle Lebenslagen ist, dann stellt einen echten fortschritt dar. Glückwunsch OpenAI. Wenn Sie mehr darüber erfahren möchten, wie sich KI verbessert, schauen Sie sich mein Video von vor etwa vier Stunden an. Und wie auch immer, ich wünsche Ihnen einen schönen Tag.