GPT-4.5: OpenAI’s Most Interesting Model Yet?

OpenAI hat gerade GPT 4.5 vorgestellt, eines der wahrscheinlich interessantesten Modelle, die sie bisher veröffentlicht haben. Laut Ihnen handelt es sich nicht um ein Frontiermodell, aber es verbessert die Rechenleistung von GPD 4 um mehr als das Zehnfache. Allerdings ist es fast 30 mal so teuer wie GPD 40. Die Leistung ist im Vergleich zu GPD 40 zwar besser, aber im Vergleich zu anderen hochmodernen Modellen ist sie nicht annähernd so gut. Warum genau haben Sie dieses Modell veröffentlicht? Ich denke, die Antwort steht in diesem beitrag von Bob McGrew, dem ehemaligen Chief Research Officer bei OpenAI. Er sagt, man solle nicht enttäuscht sein, dass GPT 4.5 nicht intelligenter als sei. Eine Skalierung des Vortrainings verbessere die Reaktionen auf ganzer Linie. Eine Skalierung des Schlussfolgerns verbessere die Reaktionen erheblich, wenn Sie von der Denkzeit profitieren, ansonsten jedoch nicht wesentlich. Die Idee ist also, dass GPT 4.5 ein sehr starkes Basismodell ist, auf dem OpenAI aufbauen wird. Die darauf aufbauenden Argumentationsmodelle werden also um einiges leistungsfähiger sein als alles, was wir bisher gesehen haben. Dieses Modell ist riesig und es ist das bislang größte und leistungsstärkste Modell von OpenAI. Wir kennen die genaue Größe nicht, aber um Ihnen eine Vorstellung zu geben, hier ist ein Tweet von Ada. Er sagt, dass jede Version etwa die zehnfache Rechenleistung vor dem Training benötigt. Denken Sie mal darüber nach. Wenn wir das als Basis nehmen, soll das das Zehnfache von GPD 40 oder GPD 4 sein und immer noch eine 10 mal höhere Rechenleistung haben. Und selbst OpenAI hat Probleme, dieses um den Faktor 10 recheneffiziente Modell bereitzustellen. Hier ist ein Tweet von Sam GBD 4.5 ist fertig. Die gute Nachricht ist, dass es das erste Modell ist, bei dem ich mich fühle, als würde ich mit einer nachdenklichen Person sprechen. Er Ich habe mich schon mehrmals in meinem Stuhl zurückgelehnt und war erstaunt, tatsächlich gute Ratschläge von einer KI zu bekommen. Die schlechte Nachricht ist, dass Sie dieses Modell zunächst nicht jedem anbieten werden. Er sagt, es sei ein riesiges, teures Modell. Wir wollten es wirklich gleichzeitig für Plus und Pro auf den Markt bringen, aber wir sind stark gewachsen und haben keine GPUs mehr. Ich denke, der einzige Gewinner hier ist Nvidia. Sie werden nächste Woche Zehntausende von GPUs hinzufügen und für die Plus Stufe einführen. Das Interessanteste ist, dass dies kein Schlussfolgerungsmodell ist und keine Benchmarks sprengen wird. Und das können wir tatsächlich sehen, aber ich denke, dies wird ein extrem leistungsstarkes Modell als Basismodell für das Training weiterer Schlussfolgerungsmodelle sein. Sie haben auch die Systemkarte veröffentlicht, die viel mehr Informationen enthält als der von Ihnen bereitgestellte Blogbeitrag. Schauen wir uns also zuerst den Blogbeitrag an und später die Systemkarte. Sie sagen, dass es sich um eine Vorschau von GBT 4.5 handelt und dass es sich um das bisher größte und beste Modell für Chats handelt. Bedenken Sie nun, dass Sie sich speziell auf Vibes konzentrieren und nicht auf tatsächliche Programmierfähigkeiten. Und laut Ihnen ist es ein Schritt nach vorn bei der Skalierung des Prä und Post Trainings. Das scheint wirklich gut darin zu sein, Muster zu erkennen, verschiedene Verbindungen herzustellen und kreative Erkenntnisse ohne Vernunft zu generieren. Ich Es ist kein Schlussfolgerungsmodell und Sie scheinen sich mehr auf IQ zu konzentrieren, was emotionale Intelligenz bedeutet als auf IQ. Es gibt also zwei verschiedene Paradigmen für das Training großer Sprachmodelle. Eines ist die Skalierung des Denkens, also diese neue Generation von Modellen wie oder. Ein weiteres Beispiel wäre GROK Denken, Gemini Denken oder R. Und die Idee ist, dass das Modell Denken und Gedankenketten produzieren kann, bevor es reagiert, und dies ermöglicht es ihm, komplexe Stamm und Logikprobleme anzugehen. Wenn Sie jedoch kreativ sein und bessere Frauen haben möchten, können Sie sich auf unüberwachtes Lernen konzentrieren, das die Genauigkeit und Intuition des Weltmodells erhöht. Auf diese Weise scheint GPT 4.5 trainiert zu werden, indem Rechendaten zusammen mit Architektur und Optimierungsinnovationen hochskaliert werden. Die Frage ist Stoßen wir an eine Skalierungsgrenze? Basierend auf diesem Modell scheint dies nicht der Fall zu sein, obwohl die Leistung dieses Modells bei Benchmarks nicht so gut ist, wie die Leute erwartet hatten. Jetzt haben Sie die kleinen Ausschnitte von Antworten von GPT veröffentlicht, das 2018 auf GBT 4.5 trainiert wurde, dem aktuellen Modell. Ich kann jedem nur empfehlen, sich das anzusehen, da es einem wirklich ein Gefühl dafür vermittelt, wie sich diese Modelle im Laufe der Zeit entwickelt haben. Hier ist also die Was ist die erste Sprache? Und GPT, wenn Sie es sehen, wiederholt im Grunde genommen immer dasselbe. GPT war das erste Modell, das tatsächlich Sinn ergab. Die Antworten sind jetzt nicht so toll, aber es konnten zusammenhängendere Antworten generiert werden. Und wenn Sie sich erinnern, wollte OpenAI zu diesem Zeitpunkt GPT nicht veröffentlichen, weil sie Es sei zu gefährlich, und die Leute würden ein großes Sprachmodell ausnutzen. Und Dann haben wir 3.5 bei dem die Antworten viel ausführlicher sind. Das ist die Version, die die Welt wirklich erschüttert und diese ganze Revolution ausgelöst hat. GPT Turbo ist wiederum relativ ausführlich. Und dann gibt es noch GPD 4.5 je nach Stimmung und Geschmack gefallen Ihnen vielleicht die Antworten von GPD 4.5 besser? Ich habe sie mit GPD oder Turbo verglichen oder umgekehrt. Aber bei diesem Modell geht es im Moment mehr um wipes. Und da Ihr Fokus auf wipes liegt, haben sie sich speziell auf die Zusammenarbeit mit Menschen konzentriert. Sie haben dem Modell also ein besseres Verständnis für menschliche Bedürfnisse und Absichten vermittelt. Und basierend auf diesen Trainings scheinen die Menschen die Antworten von GPT 4.5 besser zu finden als die von GPD 40. In einigen Fällen kann man dieses System menschlicher Vorlieben tatsächlich austricksen. Ein Beispiel ist das Chatbot Arena Leaderboard. Ich denke, einige Modellentwickler haben herausgefunden, dass die Leute diese Antworten in der Regel mögen, wenn das Modell viel ausführlichere Antworten liefert. Es gibt Modelle, die im Chatbot Arena Leaderboard sehr gut abschneiden, aber ihr praktischer Nutzen ist begrenzt. Wir müssen abwarten, was mit GPD 4.5 passiert. Wie ich in diesem Video bereits mehrfach erwähnt habe, handelt es sich hierbei nicht um ein Schlussfolgerungsmodell. OpenAI stellt es jedoch so dar, dass es durch Vortraining intelligenter und sachkundiger werden könnte und dass Modelle wie diese als noch leistungsfähigeres Basismodell für Schlussfolgerungen und die Verwendung von Tools dienen können. Im aktuellen Zustand ist es wahrscheinlich keine wirklich gute Option für die Verwendung von Tools, was durch diesen Tweet von Farun Moen, dem CEO von Codium, den Entwicklern von Windsurf verdeutlicht wird. Er sagte, dass GPD 4.5 bei Windsurf eingeführt wird. Nach unseren begrenzten Tests ist es teurer, langsamer und schlechter beim Aufrufen von Tools als Modelle wie SET. Wie Verwendet man nun GPT 4.5 im Chat GPT? Wenn Sie ein Pro Nutzer sind, sollten Sie inzwischen Zugriff haben. Plus Nutzer wie ich werden wahrscheinlich nächste Woche Zugriff bekommen und es wird die Möglichkeit geben, eine Suche durchzuführen. Es wird Datei Uploads und Bild Uploads unterstützen und auch die Canvas Funktion wird möglich sein. Allerdings werden derzeit keine multimodalen Funktionen wie Sprache, Video und Bildschirmfreigabe im Chat GPT unterstützt. Wenn Sie ein Entwickler sind, können Sie dies über die API verwenden, aber es heißt, dass es sich um ein sehr großes und rechenintensives Modell handelt, was es teurer macht. Und wie teuer wird es also sein? Es kostet 75 US Dollar pro Million Token. Im Vergleich dazu kostet GPT-40 nur 2,50 US Dollar pro Million Token. Das ist wahrscheinlich das teuerste Modell, das ich je gesehen habe. Was die Anwendungsfälle angeht, so heißt es, dass es für kreative Aufgaben und agentenbezogene Planung konzipiert ist und derzeit in der Forschungsvorschau mit Content Textfenstern verfügbar ist. Wie gut ist das nun bei agentenbezogenen oder codebezogenen Aufgaben? Nun, die Ergebnisse sind nicht so beeindruckend. Es gibt also zwei verschiedene Varianten, die in der Systemkarte gemeldet werden. Eine ist Vorsatz und die andere ist Nachminderung. Und im Allgemeinen ist es etwas besser als das ursprüngliche GPT 40 aber es hinkt immer hinter und mini her. Dies ist also ein Beispiel für Interviewfragen von OpenAI Forschungsingenieuren. Bei Multiple Choice Fragen schneidet es definitiv viel besser ab als GPT 40 aber ich denke, es ist gleichauf mit Mini. Bei Sweepbench schneidet es im Vergleich zu GPD 40 viel besser ab. OpenAI hat hier jedoch kein anderes Modell einbezogen, weder offene Gewichtungen noch andere Grenzmodelle. Hier ist also ein Wenn Sie es mit offenen Gewichtungsmodellen wie DeepSeq vergleichen, wenn sie sich diese Ergebnisse ansehen, werden sie zwei Dinge ein Sweepbench GBD 4,5 pro Punktzahl erreicht 38 Prozent GPT-40 das ist meiner Meinung nach das ursprüngliche GPT-40 das 31 Prozent erreicht. Die neueste Version von GPT-40 erreicht 38,8 Prozent. Das ist tatsächlich besser als GPT 4.5 aber wenn man es mit etwas wie Deep C vergleicht, hinkt es tatsächlich anderen hochmodernen Open Weight Modellen hinterher. Und DeepSea Q ist nicht die Reasoning Version von R und es hat nur etwa 600 Milliarden Parameter, was wahrscheinlich um ein Vielfaches kleiner ist als GPD 40 und GPD 4.5 um also auf Sams Tweet zurückzukommen, bei Benchmarks schneidet es definitiv nicht gut ab. Es wird wahrscheinlich viel bessere wipes haben, aber wipes nur für kreatives Schreiben, nicht fürs Programmieren. Tatsächlich haben sie selbst während ihrer Live Demo keine einzige Programmieraufgabe durchgeführt und selbst in diesem Blogbeitrag werden sie keine einzige Programmieraufgabe oder Programmierdemo sehen. Um es noch einmal zusammenzufassen, würde ich sagen, dass dies eine sehr interessante Version ist. Es ist wahrscheinlich nicht weltbewegend, aber das Modell hat möglicherweise einen besseren IQ im Vergleich zu dem, was wir bisher gesehen haben. Angesichts des Preises, den sie für die API haben, wird es wahrscheinlich für niemanden so gut wie unmöglich sein, dies in einem Produktionssystem auszuführen. In Bezug auf Zugriff und Preise bilden sich meiner Meinung nach zwei verschiedene Gruppen, wenn es um die bahnbrechenden Foundation Modelle geht. Die eine ist OpenAI, die immer elitärer wird und immer teurere Funktionen bietet. Auf der anderen Seite gibt es Unternehmen wie Google, die wahrscheinlich nicht die besten Modelle haben, aber fast alle ihre Modelle absolut kostenlos anbieten, was schon verrückt ist, und sogar noch viel mehr Funktionen anbieten, wenn man sich den API Endpunkt ansieht. Dann gibt es noch Antropic genau in der Mitte, das mit der Nachfrage nicht Schritt halten kann, weil es nicht genügend GPUs beschaffen kann. Dann gibt es noch Modelle aus China, die einem in der Regel kostenlosen Zugriff über ihre Weboberflächen gewähren. Auch ihre API Preise sind sehr wettbewerbsfähig. Lasst mich wissen, was ihr von all dem haltet. M Ich denke, es bilden sich einige wirklich interessante Gruppen. Wie auch immer, ich hoffe, Sie fanden dieses Video nützlich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.