OpenAI O3 & O4 Mini: The First True Reasoning Agents?

Wir haben also eine weitere große Ankündigung von OpenAI, die um einiges wichtiger ist als das, was wir bei DPD 4.1 gesehen haben. Jetzt gibt es also zwei verschiedene Modelle und Mini und das ist das erste Mal, dass ein Schlussfolgerungsmodell Tools effektiv nutzen kann. Dies war eine der größten Einschränkungen von Schlussfolgerungsmodellen, da die meisten von Ihnen keine Tools oder Funktionen nutzen können. Aber mit dieser neuen Serie können Sie jetzt Tools nutzen, die die Sie für den Einsatz als Agenten sehr effektiv machen werden. Darüber hinaus verfügt sie auch über native Multimodell Schlussfolgerungsfunktionen. Abgesehen von all den aufregenden Updates bei Benchmarks, finde ich die Verwendung von Tools etwas, worauf ich mich wirklich freue. Sie haben auch ihre eigene Version von Cloud Code eingeführt, die Sie Cotex CLI nennen. Damit können diese Schlussfolgerungsmodelle in Ihrem Terminal oder CLI verwendet werden. Mehr dazu später im Video. OK, wir werden den Blogbeitrag durchgehen und ich werde einige meiner Gedanken dazu mitteilen. Sie veröffentlichen also zwei Modelle und Mini. Diese werden die ursprünglichen Modelle ersetzen, Wir werden also bald keinen Zugriff mehr darauf haben, da diese Modelle jetzt viel besser sind. Jetzt sagen Sie, dass Sie sich hervorragend für den Einsatz als Agenten eignen und alle Tools in ChatGPT vereinen. Bisher hatten die Reasoning Modelle beispielsweise keinen Zugriff auf Websuch Tools, aber mit diesem Update können Sie jetzt das Web durchsuchen, hochgeladene Dateien und andere Daten mit Python analysieren, tiefgreifende Schlussfolgerungen mit visuellen Eingaben ziehen. Und ich glaube, etwas, das im Release Video nicht hervorgehoben wurde, ist, dass Sie auch Bilder generieren können. Ich weiß nicht, ob diese Funktion zum Release verfügbar sein wird, aber es wäre toll zu sehen, ob die Qualität der generierten Bilder mit GPT-4 mithalten kann. Die kombinierte Leistung von hochmodernem Reasoning mit vollem Toolzugriff führt nun zu einer deutlich höheren Leistung bei akademischen Benchmarks und realen Aufgaben und setzt neue Maßstäbe in Bezug auf Intelligenz und Nützlichkeit. Wie ich bereits eingangs sagte, führen agentische Anwendungsfälle mit Reasoning-Modellen zu einer enormen Leistungssteigerung, die sich tatsächlich in den Benchmarks zeigt, die Sie veröffentlicht haben. Im Grunde sind alle Benchmarks, die wir für Coding Reasoning haben, mittlerweile potenziell gesättigt. Wir brauchen an dieser Stelle wahrscheinlich viel bessere Benchmarks. Sie sagen dass ihr leistungsstärkstes Reasoning Modell ist, das die Grenzen von Coding, Mathematik, Naturwissenschaften und visueller Wahrnehmung weiter ausreizt. Sie haben das Multimodellverständnis und die visuelle Wahrnehmung dieser Modelle wirklich hervorgehoben. Sie zeigen auch einige Beispiele. Wir werden einige unserer eigenen Tests durchführen, wenn wir Zugriff auf das Modell haben, aber die Gesamtergebnisse bei Multimodell Benchmarks zeigen eine enorme Leistungssteigerung. Jetzt kann es Bilder, Diagramme und Grafiken analysieren und Sie sagen, dass Mini in einer externen Bewertung 20 Prozent weniger schwerwiegende Fehler macht als Open IO, bei schwierigen Aufgaben aus der realen Welt besonders hervorragend in Bereichen wie Programmierung, Unternehmensberatung und kreativer Ideenfindung. Denken Sie daran, dass Sie in jedem Blogbeitrag oder Video zur Veröffentlichung Ihre Modelle anpreisen werden. Und das gilt Nicht nur für OpenAI, sondern auch für alle Labore. Wir müssen also die tatsächliche Verwendung in der realen Welt abwarten. Aber zumindest nach dem, was Sie gezeigt haben, sehen diese Modelle äußerst vielversprechend aus. Mittlerweile gibt es auch das O Mini Modell, ein kleineres Modell, das für schnelles und kosteneffizientes Reasoning optimiert ist und im Verhältnis zu seiner Größe und seinen Kosten eine bemerkenswerte Leistung erzielt, insbesondere bei Code, Mathematik und visuellen Aufgaben. So sieht die Kostenoptimierung für verschiedene Benchmarks aus. Dies IST beispielsweise der AME 2025 ohne jegliche Toolnutzung und dies ist der schnellste GPQA Datensatz ohne Tool Nutzung. Richtig. Bei ähnlichen Kosten ist die Leistung des O Mini also viel besser als die des Mini, auf den wir bisher Zugriff hatten. Nun scheint es, als hätten Sie auch die OII Modelle wirklich optimiert. Sie sehen, es gibt eine enorme Leistungssteigerung bei viel geringeren geschätzten Inferenzkosten im Vergleich zu den bestehenden Modellen. Die Modelle werden nun eingestellt, weil sie meiner Meinung nach definitiv all diese GPUs benötigen, um Inferenzen für diese Mini Modelle auszuführen. OK, O Mini wird viel höhere Nutzungsbeschränkungen als O haben, was zu erwarten war. Und basierend auf den Benchmarks, die wir gesehen haben, scheint es ein vernünftiges Modell für die meisten Aufgaben zu sein. Allerdings hatten wir zum Zeitpunkt der Aufnahme dieses Videos noch keine Informationen darüber, wie die Nutzungsbeschränkung aussehen wird. Diese Modelle werden ab heute im Chat GPT und auch über die API verfügbar sein. Ich zeige euch später im Video einige der Kostenzahlen, die sie genannt haben, aber sie scheinen im Vergleich zu den bestehenden Modellen definitiv viel vernünftiger zu sein. Sie haben auch hervorgehoben, dass externe Experten beide Modelle als Modelle mit verbesserter Befehlsbefolgung und nützlicheren, überprüfbaren Antworten als ihre Vorgänger bewertet haben, dank der verbesserten Intelligenz und der Einbeziehung von Webquellen. Wenn Sie bemerken, dass OpenAI bei diesen neuen Versionen speziell die Fähigkeiten zum Befolgen von Befehlen hervorhebt, insbesondere als wir uns GBT 4.1 angesehen haben und jetzt auch bei diesen Modellen, dann ist der zweite Punkt, dass der Fokus im Moment speziell auf Codierungs und Agentenanwendungsfällen liegt. Und Argumentationsmodelle eignen sich wahrscheinlich am besten für eine stärker agentenorientierte Nutzung, da sie über die zu verwendenden Tools schlussfolgern können und die Leistung bei Coding Benchmarks ziemlich beeindruckend ist. Doch zunächst werfen wir einen Blick auf mathematische Benchmarks. Diese sind definitiv situiert. Wenn Sie sich beispielsweise Mini beim AIM 2025 Wettbewerb ansehen, erhalten wir mit einem Python Interpreter 99,5 Punkte. Wir brauchen jetzt definitiv viel bessere Benchmarks, da ich denke, dass der Intelligenzgrad dieser Modelle diese Benchmarks so ziemlich gesättigt hat. Wenn Sie sich nun erneut den Code Force Code Computation Benchmark ansehen, ist er in puncto Leistung meilenweit über den vorherigen Modellen und Mini bei der letzten Prüfung. In den Geisteswissenschaften ist Deep Research immer noch leistungsfähiger als beispielsweise. Allerdings wird das Generieren der Antworten viel mehr Zeit in Anspruch nehmen, da ein agentenorientiertes System verwendet wird. Aber im Fall von Mini wird es meiner Meinung nach viel schneller sein und das wurde auch im Release Video hervorgehoben. Ähnlich verhält es sich bei multimodalen Modellen. Was mir an OpenAI im Moment nicht so gefällt, ist, dass sie diese Modelle nur mit ihren eigenen Angeboten vergleichen. Im Sinne der vollständigen Transparenz sollten sie meiner Meinung nach auch andere Frontiermodelle in die gleichen Diagramme einbeziehen. So können die Leute viel einfacher vergleichen und sehen, wie genau die Verbesserungen aussehen. Und um ehrlich zu sein, sind das ziemlich bemerkenswerte Zahlen. Ich glaube, niemand kommt auch nur annähernd an diese Zahlen heran. Und deshalb sollten Sie hier tatsächlich die Wettbewerber aufführen. Sehen wir uns nun ein paar Beispiele an. Der Sweepbench Verified Now 3 erreicht beispielsweise etwa 69 Prozent. O Mini liegt mit 68 Prozent knapp dahinter. Das ist der neueste Stand der Technik. Wenn man sich den Zhohou Benchmark verified ansieht, lag der bisherige aktuelle Stand bei 65 Prozent. Das ist eine enorme Leistungsverbesserung und ich denke, deshalb ist es wirklich wichtig, dass Sie die Wettbewerber hier aufführen, um zu sehen, wie viel tatsächlicher Zuwachs sie erzielen. Ähnlich verhält es sich bei der Bearbeitung von Polyglottem. Das Mini erreicht bei hohen Einstellungen insgesamt 81 Prozent. Wenn es nur Code Bearbeitungen vornehmen muss, erreicht es etwa 80 Prozent. Das ist verrückt, denn wenn man sich den aktuellen State of the Art Score von Gemini 2.5 Pro mit 72,9 Prozent ansieht. Jetzt müssen wir uns die Kosten ansehen, aber beim Coding scheint es ein neues State of the Art Modell zu geben, das Gemini 2.5 Pro schlägt. Ich bin wirklich gespannt, was Google nächsten Monat auf der Google I O bekannt geben wird, denn sie werden diesen neuen State of the Art Score definitiv übertreffen wollen. Wir befinden uns also gerade in einer sehr interessanten Zeit und die Fortschritte, die wir in den letzten Monaten gesehen haben, sind unglaublich. Es gab immer mehr Modell Releases von OpenAI sowie von anderen Modellanbietern, mit Ausnahme von Claude oder Antropic. Sie waren ziemlich langsam, aber insgesamt werden diese Benchmarks nicht allzu lange Bestand haben, sogar etwas wie Polyglot, ein sehr anspruchsvoller Benchmark. Die Leistung, die wir hier sehen, ist ziemlich unglaublich. Ich möchte aber trotzdem sagen, dass man bedenken sollte, dass dies nur für einzelne Dateien und einzelne Bearbeitungen gilt. Richtig. Die tatsächliche Codierleistung muss noch getestet werden und ich denke, wir müssen einige der internen Benchmarks abwarten, um zu sehen, wie die Leistung ist. Aber basierend auf diesen Zahlen ist dies der neue Stand der Technik für die Codierung. Ein weiterer Aspekt, der wirklich hervorgehoben wurde, ist die Befolgung von Anweisungen und die Verwendung von Tools. Dies ist besonders wichtig, wenn Sie agentenbasierte Systeme erstellen. Sie möchten, dass Ihr System Ihren Anweisungen folgt und nicht davon abweicht. Und auch hier zeigt sich die Leistung auf dem neuesten Stand der Technik. Bei der Verwendung bestimmter Tools wie Python und Browsing. Hier sind also einige Benchmarks für die Befolgung von Anweisungen, insbesondere der Topbench Benchmark für Funktionsaufrufe oder die Verwendung von Tools. Wie ich bereits sagte, zeigt dieser spezifische Benchmark eindeutige Ergebnisse. Ich werde dieses Modell testen, um zu sehen, wie gut es bei einigen meiner eigenen Tests ist. Wenn Sie jedoch nach einem Schlussfolgerungsmodell suchen, das über die Fähigkeiten zur Verwendung des Tools verfügt, scheint dies die erste wirklich gute Option zu sein. Wie genau haben Sie das geschafft? Sie konnten das bestärkende Lernen skalieren. Sie haben also nicht nur wirklich gute Strategien für das Training vor dem Training entwickelt, sondern es scheint auch, dass Sie nach dem Training immer mehr Fortschritte machen. Wir werden diesen Abschnitt des Blogbeitrags also einfach durchgehen. Sie sagten, dass Sie während der gesamten Entwicklung von OpenAI beobachtet haben, dass bestärkendes Lernen in großem Maßstab dasselbe aufweist. Mehr Rechenleistung bedeutet bessere Leistung und es scheint insbesondere so, dass das Modell beim AM Benchmark immer besser abschnitt, wenn Sie während des Trainings oder im fortlaufenden Training mehr Rechenleistung verwendeten. Dies zeigt, dass es immer noch eine wirklich gute oder riesige Chance gibt, sowohl die Testzeit Rechenleistung als auch die Trainingsrechenleistung zu skalieren. Richtig. Wir sind also noch nicht wirklich an Skalierungsgrenzen gestoßen. Sie sagen also, dass wir durch die erneute Verfolgung des Skalierungspfads, dieses Mal in RL, sowohl bei der Trainingsrechenleistung als auch bei der Inferenzzeit eine zusätzliche Größenordnung erreicht haben und dennoch deutliche Leistungssteigerungen erzielen, was bestätigt, dass sich die Leistung des Modells weiter verbessert, je mehr man ihm Raum zum Nachdenken gibt. Wie ich bereits sagte, scheint es keine Skalierungsgrenze zu geben und es scheint, dass die Modelle tendenziell viel besser abschneiden, je mehr Rechenleistung man sowohl beim Training als auch bei der Inferenzzeit einsetzt. Jetzt würde ich gerne sehen, wie sich die Leistung bei einem Benchmark wie dem ARC AGI verhält, insbesondere angesichts der Tatsache, dass die ER Serie tausende von Dollar für einen einzelnen Task Durchlauf gekostet hat. Es wird also interessant sein zu sehen, wie sich die ER und ER Mini schlagen. Eine weitere Sache, die Sie getan haben, ist, dass Sie beide Modelle durch Reinforcement Learning für die Verwendung von Werkzeugen trainiert haben. Dabei haben sie ihnen nicht nur beigebracht, wie man das Werkzeug benutzt, sondern auch, wann man die Werkzeuge einsetzen soll. Das ist ein entscheidender Bestandteil jedes guten agentenbasierten Systems. Man möchte, dass das Modell weiß, wann es bestimmte Werkzeuge einsetzen soll, und es scheint, dass ihnen das durch Reinforcement Learning gelungen ist. Wir müssen uns erneut die Verwendung in der realen Welt ansehen, aber anhand einiger der hier gezeigten Beispiele kann das Modell Bilder und visuelle Informationen analysieren und dann basierend darauf entscheiden, welches Werkzeug verwendet werden soll. Eine weitere Sache, die Sie im Video hervorgehoben haben, ist, dass es auch die Ergebnisse der Werkzeuge analysieren kann. Nehmen wir an, das Modell entscheidet sich für die Verwendung eines Werkzeugs. Es betrachtet die Ergebnisse in einem Agendasystem. Es kann diese analysieren und dann seinen Plan oder seine Gedankenkette ändern, um ein besseres Werkzeug für eine bestimmte Aufgabe zu verwenden. Richtig. Das wird es extrem leistungsfähig machen. Alles klar. Sie sagen also, dass diese Modelle zum ersten Mal Bilder direkt in ihre Gedankenkette integrieren können. Sie sehen nicht nur ein Bild, sie denken mit. Dies eröffnet eine neue Klasse der Problemlösung, die visuelles und textuelles Denken miteinander verbindet, was sich in der hochmodernen Leistung bei multimodalen Benchmarks widerspiegelt. Ich denke, dies wird ein großer Schritt für die industrielle Anwendung sein, insbesondere in der Fertigung. Das Modell kann also nicht nur verschiedene Produkte erkennen, sondern diese auch visuell durchdenken und es scheint, als ob es dies sogar in Szenarien schafft, in denen die Bilder verschwommen, invertiert oder von schlechter Qualität sind. Wir müssen es noch einmal testen, aber die Benchmarks sehen auf jeden Fall sehr gut aus. Dann sprechen sie über Anwendungsfälle für Agenten, insbesondere über die Aktivierung von Funktionsaufruffunktionen über die API. Jetzt müssen Sie auch sehen, wie Sie vorgeschlagen haben, verschiedene Eingabeaufforderungstechniken mit O oder Mini zu verwenden. Sie empfahlen in Eingabeaufforderungen ausdrücklich keine Gedankenketten zu verwenden. Daher wäre es interessant zu sehen, ob hier dieselben Prinzipien gelten. Es muss eine andere Strategie geben. Sie haben außerdem kürzlich einen Leitfaden für Eingabeaufforderungen speziell für 4.1 Modelle veröffentlicht. Ich denke, es wäre interessant zu sehen, ob diese Prinzipien auf diese Argumentationsmodelle zutreffen oder ob es ein ganz neues Paradigma für die Eingabeaufforderung dieser Modelle gibt. Hier sind Ein paar Beispiele, in denen Sie O mit vergleichen. Insgesamt scheint in diesen verschiedenen Bereichen viel besser abzuschneiden. Ich werde einen Link dazu in die Videobeschreibung einfügen. Ihr könnt sie euch ansehen. Ich werde nicht zu viel Zeit damit verbringen. Lasst uns nun über die Preise sprechen.