GPT-4.1: Everything You Need to Know (+ What OpenAI Didn’t Say)

OK, OpenAI hat gerade GPT 4.1 in der API veröffentlicht. Dies ist eine verbesserte Version für die Codierung von Befehlen und das erste OpenAI-Modell mit einem Kontextfenster. Von einer Million. In diesem Video werden wir uns alles ansehen, was angekündigt wurde und auch die Dinge, die nicht erwähnt wurden, insbesondere den Vergleich mit anderen Anbietern. Diese Version umfasst drei verschiedene GBT 4.1 4.1 Mini und 4.1 Nano. An der Namensgebung muss wirklich noch gearbeitet werden. Nach der Veröffentlichung von 4.5 hätten sie es wahrscheinlich anders nennen sollen. Diese Modelle sollen besser sein als GPT 4 Mini und GPT 40 und unterstützen jetzt Kontextfenster von bis zu einer Million Token. Der Stichtag für den Stand der Dinge ist jedoch Juni 2024 was meiner Meinung nach ziemlich schlecht für ein Codierungsmodell ist, da sich seitdem viele Pakete und APIs geändert haben. In diesem Blogbeitrag werden Sie feststellen, dass nur die GPT 4.1 Familie mit OpenAI Modellen verglichen wird. Ich zeige euch weitere Benchmarks, um zu sehen, wie wie sich das im Vergleich zu anderen Anbietern wie Gemini oder Cloud schlägt. OpenAI hat vor kurzem ein wichtiges Thema veröffentlicht. Sie veröffentlichen einige ihrer internen Benchmarks. Die meisten dieser Pionierlabore haben ihre eigenen internen Benchmarks. Es ist also gut zu sehen, dass sie einige davon der Community zugänglich machen. OK, das hier haben sie in ihrer Veröffentlichung hervorgehoben. Hier wird die Intelligenz im Verhältnis zur latenz dargestellt. Die GPT 4.1 Familie soll eine bessere Intelligenz bei geringerer Latenz aufweisen. Ich persönlich mag solche Diagramme jedoch nicht, vor allem wenn die Beschriftungen fehlen. Das vermittelt kein gutes Bild. Im Blogbeitrag steht jedoch, dass die Intelligenz von GPT erreicht oder übertroffen wird, während die Latenz um fast die Hälfte und die Kosten um 83 Prozent reduziert werden. Das ist ziemlich viel, vor allem weil es sich an Entwickler richtet. Wenn sie nach einem Arbeitspferdemodell suchen, empfehlen sie die Verwendung von GPT 4.1 Nano, das das schnellste und günstigste Modell von OpenAI sein soll. Das Gute ist, dass dieses Nano auch ein Kontextfenster von einer Million Token hat und ihnen in den Hashtag Tests eine sehr ähnliche Leistung bei der Nadel bietet. Wir werden uns diese später im Video ansehen, da diese Modelle wirklich gut beim Befolgen von Anweisungen und beim Codieren sind, denke ich, dass sie auch wirklich gute Optionen für den Aufbau von agentenbasierten Systemen sind. Sie haben auch einige Benchmarks für Funktionsaufrufe bereitgestellt, die wir uns später im Video ansehen werden, aber es scheint ziemlich beeindruckend zu sein, insbesondere im Vergleich zum vorherigen GPT 40 diese neuen Modelle werden nur über die API verfügbar sein, sie werden also nicht über GPT Chat verfügbar sein, daher der Fokus auf Entwicklern. Außerdem wird 4.5 eingestellt. Sie sagen, dass GPT 4.5 als Forschungsvorschau eingeführt wurde, um ein Experiment mit einem großen, rechenintensiven Modell zu erforschen. Und wir haben viel aus dem Feedback der Entwickler gelernt. Ich weiß nicht, ob das überhaupt jemand gebrauchen konnte, wenn wenn man bedenkt, dass es 150 Dollar pro eine Million Token sind. OK, schauen wir uns einige Benchmarks an. Der erste ist das Programmieren. Sie sagen, dass GPD 4.1 bei einer Vielzahl von Programmieraufgaben deutlich besser ist als GPT-40 einschließlich der agentenbasierten Lösung von Programmieraufgaben im Frontend, der Reduzierung von überflüssigen Bearbeitungen und der zuverlässigen Einhaltung von DIV Formaten, der Gewährleistung einer konsistenten Toolnutzung und mehr. Der erste Vergleich, den Sie bereitgestellt haben, basiert auf einem Benchmark. Hier erreicht es 55 Prozent. Der von ZO verifizierte Benchmark konzentriert sich speziell auf Python. Wenn Sie sich das hier ansehen, sagen Sie, dass die Leistung stark von den Eingabeaufforderungen und dem Tool abhängt, die zum Hinzufügen, Reproduzieren und Kontextualisieren unserer Ergebnisse verwendet werden. Wir beschreiben hier unser Setup. Ich werde mir das in einem anderen Video ansehen, aber hier ist der wichtigste Unsere Ergebnisse geben 23 von 500 Problemen aus, deren Lösungen auf unserer Infrastruktur nicht ausgeführt werden konnten, wenn sie konservativ auf null gesetzt werden. Wenn sie also beispielsweise bei diesen 23 keine Punktzahl erzielen, dann beträgt die Leistung 52 Prozent. Das ist immer noch besser als das ursprüngliche GPT 40 und bei diesem speziellen Benchmark scheint es sogar die größeren Reasoning Modelle wie O Mini High zu übertreffen. Bedenken Sie bitte, dass diese neuen Modelle keine Reasoning Modelle sind. Es zeigt sich also definitiv eine enorme Leistungsverbesserung. Wie schneidet es nun ab? Es schneidet im Vergleich zu anderen Modellen ab. Hier ist der von Sweetbench verifizierte Benchmark. Es gibt eine Vollversion, nämlich diese hier, aber verifiziert wird es irgendwo hier liegen. In puncto Leistung wird es also knapp hinter dem Amazon Q Developer Agent zurückfallen, der speziell für Codierungsaufgaben entwickelt wurde. Als modell scheint GPT 4.1 als system definitiv ziemlich beeindruckend zu sein. Wir müssen noch sehen, wie es sich entwickelt. Eine Sache, die mir an ihrer Veröffentlichung wirklich gefällt, ist, dass Sie die Ergebnisse des Adas Polyglot Benchmarks melden, der ein viel schwierigerer Benchmark ist, da er viel mehr Sprachen umfasst. Suitebench ist nur auf Python beschränkt. Im Vergleich zu GPT-40 schneidet es in diesem Fall zwar gut ab, hinkt aber den OpenAI Argumentationsmodellen hinterher. Es gibt zwei verschiedene Arten von Benchmarks. Bei dem einen handelt es sich um den HOL Benchmark, bei dem das Modell im Grunde genommen Änderungen an der gesamten Datei vornehmen oder die gesamte Datei neu erstellen muss. Und dann gibt es noch den Benchmark, bei dem das Modell Änderungen an bestimmten Teilen der Datei vornehmen kann. Wie schneidet er im Vergleich zu anderen Modellen ab? Hier ist der Polyglot Coding Benchmark. An der Spitze steht Gemini 2.5 Pro mit fast 73 Prozent. Wenn wir von einer Leistung von 52 Prozent ausgehen, landet es direkt neben Core Alpha, einer Version von 4.1 die OpenAI in der Praxis getestet hat. Angenommen, wir haben so etwas wie deepseek R und Deep SQW, ist es möglicherweise nicht die erste Wahl für die Programmierung, wenn man davon ausgeht, dass V und R eine ähnliche oder bessere Leistung zu relativ ähnlichen Kosten bieten. Einer der Hauptanwendungsfälle des codierungsmodells ist die Frontend Entwicklung. Es scheint, als hätte OpenAI viel Zeit in die Verbesserung der Frontend Fähigkeiten investiert. Hier ist ein Beispiel dafür, wie GPD 40 im Vergleich zu 4.1 bei gleichem prompt aussieht. Ästhetisch gesehen bietet 4.1 definitiv viel bessere Frontends. OK. Abgesehen vom Codieren haben sie auch das Befolgen von Anweisungen hervorgehoben. GPT 4.1 befolgt Anweisungen zuverlässiger und sie haben signifikante Verbesserungen in einer Vielzahl von Entwicklungen. Beim Befolgen von Anweisungen vorgenommen. Die quantifizierten Befolgen von Anweisungen umfassen das Befolgen des Formats, negative Anweisungen, geordnete Anweisungen, Inhaltsanforderungen, Rangfolge und Konfidenz. Dies sind die Dinge, die speziell für ein wirklich gutes Argumentationsmodell beim Codieren benötigt werden. Dies ist entscheidend für jedes gute Codierungsmodell, da sie möchten, dass das Codierungsmodell ihren Anweisungen genauso folgt, wie sie es wünschen, und nicht, dass es kreative Lösungen findet, die von ihren Anweisungen abweichen. Sie haben also tatsächlich einen internen Datensatz zur Befehlsverfolgung erstellt und bei diesem Datensatz scheint GPD 4.1 im Vergleich zu GPD viel besser abzuschneiden. Sogar die Nano und Mini Versionen schneiden im Vergleich zum vorherigen GPGPT viel besser ab. Die Multi Turn Befehlsverfolgung ist ein weiterer Aspekt, der vielen Entwicklern sehr wichtig ist. Daher ist es wichtig, dass das Modell die Kohärenz bis in die Tiefe der Konversation beibehält und den Überblick darüber behält, was der Benutzer ihm zuvor mitgeteilt. Wir haben dieses Problem bei einigen Modellen festgestellt, dass sie im Laufe der Konversation den Kontext verlieren und lange dauern. Daher haben sie speziell interne Funktionen für die Befehlsverfolgung in Multi Turn Konversationen entwickelt. Die meisten dieser Pionierlabore haben nun ihre internen Benchmarks. Ich glaube nicht, dass sie sich auf die externen Benchmarks verlassen, die wir sehen, aber es ist wirklich gut zu sehen, dass OpenAI tatsächlich einige dieser Benchmarks veröffentlicht. Insgesamt scheint GPT 4.1 definitiv besser als zu sein, aber es hinkt den Schlussfolgerungsmodellen und sogar GPT 4.5 hinterher. Mich persönlich interessiert der Long Kontext, insbesondere da GPT 4.1 ein riesiges Kontextfenster von einer Million Token hat. Die Frage ist, wie zuverlässig es beim Abrufen von Informationen aus diesem gegebenen Kontext ist, verglichen mit GPT, das nur Token hatte. Diese eine Million Token werden sehr viel nützlicher sein, wenn der Long Kontext Abruf gut ist. Sie haben nun dieses Diagramm gezeigt, dass für die Haststack Genauigkeit über verschiedene Tiefen benötigt wird. Das ist ehrlich gesagt ein ziemlich schlechter Test und ich denke, die Leute sollten anfangen, die Nadel im Hashtag Test komplett zu ignorieren, insbesondere wenn Sie versuchen, ein einzelnes Faktenstück aus dem Long Kontext abzurufen, das keine realen Anwendungen repräsentiert. OpenAI hat das tatsächlich anerkannt, wie Sie sagen. Jedoch sind nur wenige Aufgaben in der realen Welt so einfach wie das Abrufen einer einzelnen offensichtlichen Nadel Antwort. Sie sagen, dass Benutzer unsere Modelle oft benötigen, um mehrere Informationen abzurufen und zu verstehen und diese Teile in Beziehung zueinander zu setzen. Dies gilt insbesondere auch für Abrufsysteme. Sie führten einen neuen Benchmark speziell für den Abruf langer Kontexte ein und nennen ihn Multi Round Co Referenzierung. Dieser Benchmark testet nun die Fähigkeit des Modells, mehrere gut im Text versteckte Nadeln zu finden und zwischen ihnen zu unterscheiden. Die Bewertung besteht aus einer mehrstufigen synthetischen Konversation zwischen Nutzern und Assistenten, in der der Nutzer um einen Text zu einem Thema bittet. Schreiben Sie beispielsweise ein Gedicht über Zapfer oder einen Blogbeitrag über Steine. Wir fügen dann 2, 4 oder 8 identische Anfragen in den Kontext ein. Das Modell muss dann die Antwort abrufen, die der jeweiligen Instanz entspricht. Richtig, Sie können also nach einer bestimmten Sache fragen. Wenn Sie nun zwei Nadeln in den Stack einfügen, scheint GPD 4.1 im Vergleich zu den vorhandenen Modellen, insbesondere der Serie, viel besser abzuschneiden. Selbst bei den Schlussfolgerungsaufgaben versagen die Schlussfolgerungsmodelle im Vergleich zu GPT 4.1 aber wir sprechen hier nur von zwei Nadeln. Interessant wird es nun, wenn Sie die Anzahl der Nadeln erhöhen. Wenn sie diese auf 4 erhöhen, scheinen die Schlussfolgerungsmodelle viel besser abzuschneiden. OpenAI mit hohen Einstellungen kann bei etwa 8000 Token eine deutlich bessere Leistung erzielen, doch die Leistung nimmt mit zunehmender Anzahl von Token ab, die in das System eingespeist werden. Auch hier scheinen die Schlussfolgerungsmodelle nach acht Tagen im Heuhaufen mit einem kürzeren Kontext im Vergleich zu dieser neuen Modellreihe eine deutlich bessere Leistung zu erbringen. Interessanterweise stagniert die Leistung nach einem bestimmten Punkt, beispielsweise Token selbst bei diesen Modellen mit langem Kontext. Dies sollten Sie berücksichtigen, wenn Sie Systeme entwickeln möchten, die mehrere Abrufe mehrerer Fakten erfordern. Da der Datensatz nun offen verfügbar ist, hoffe ich, dass andere Modellanbieter die Modelle anhand dieses Datensatzes testen werden. Es wird interessant sein zu sehen, wie sich Modelle wie Gemini im Vergleich zu 4.1 bei Multi Turn Abrufaufgaben schlagen. Sie führten außerdem einen weiteren Benchmark namens Graph ein, der sich ebenfalls auf Abrufaufgaben für lange Kontexte konzentriert. Auch hier scheint GPD 4.1 im vergleich zu deutlich besser abzuschneiden. Ich denke jedoch, dass es hinter zurückbleibt oder eigentlich eine ziemlich ähnliche Leistung aufweist, aber definitiv hinter 4.5 In diesem Fall wird die Genauigkeitsmessung nur für weniger als Token durchgeführt, da die meisten dieser anderen Modelle ein Kontextfenster von nur Token haben. Okay. Als nächstes stellten sie einige Benchmarks für Multimodell Schlussfolgerungen und Multimodell Fähigkeiten vor. Der erste ist MMU. Auch hier schneidet es besser ab als GPD 40. Das war in dieser Version ein durchgängiges Thema. Wie schlägt es sich jedoch im Vergleich zu anderen Modellen? Hier erhält es eine Punktzahl von 75 Prozent, womit es sich direkt neben dem Giganten Lama 4 einordnen würde, wenn dieser veröffentlicht wird. Insgesamt denke ich, dass es im Vergleich zu einigen anderen Modellen auf MMU viel besser abschneidet. Wenn man nun den Kontext langer Videos betrachtet, erreicht es beim Video MME Benchmark 72 Prozent. Wenn man es nun wieder in den Kontext der anderen Modelle setzt, ist Die Leistung dem Intern Vision Language Model 2.5 von Shanghai Lab sehr ähnlich, das ohne Untertitel etwa 72 Prozent erreicht, was einem Modell von etwa 72 Milliarden entspricht. Im Vergleich zum GPD 40 schneidet es also definitiv viel besser ab. Aber wenn man es in einen breiteren Kontext stellt, kann man meiner Meinung nach erkennen, dass es mit einigen der Open Weight Modellen gleichauf ist. Der attraktivste Aspekt dieser Version für Entwickler ist neben der Leistung der Preis. Im Vergleich zu einem GPT 40 ist es definitiv viel günstiger und es soll dieses Modell ersetzen. Wenn man also den GPD 40 mit dem GPT 4.1 vergleicht, ist der Preisunterschied etwa 26 Prozent oder 25 Prozent geringer. Somit ist es eine wirklich praktikable Option, da es bei Codierungs und Befehlsausführungsaufgaben deutlich besser abschneidet. Vergleicht man es jedoch mit Deep SRF, ist der Preis immer noch recht hoch. Hier könnte man eher mit Gemini 2.5 Pro vergleichen. Wenn Sie also weniger als Eingabetoken verwenden, würde ich sagen, dass 2.5 Pro die bessere Option ist, da es ein deutlich besseres Modell ist. Wenn sie jedoch mehr als Token haben, ist Gemini 2.5 Pro etwas teurer. Beim Ausgabetoken wird Gemini 2.5 Pro jedoch deutlich teurer sein. Eine ähnliche option könnte Gemini 2 Flash oder sogar das neue 2.5 Flash sein, das hoffentlich in ein paar Wochen herauskommt. Am Ende des Blogbeitrags haben Sie Benchmarks zu akademischen Datensätzen hinzugefügt, die sich speziell auf OpenAI Modelle konzentrieren. Sie vergleichen ihre Modelle erneut nicht mit anderen Anbietern, was ich nicht gut finde, vor allem wenn man diese separat nachschlagen muss. Ich hoffe, Sie halten an der Tradition fest, andere Modelle in diese Vergleiche mit einzubeziehen, aber insgesamt scheint es sich um ein ziemlich beeindruckendes Modell zu handeln. Allerdings müssen wir noch die realen Anwendungen und die Nutzung abwarten, da es sich hierbei nur um einen Ersatz für handeln soll. Ich hoffe jedenfalls, dass Sie dieses Video hilfreich fanden. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.