🚀 GPT-4.1 Is Great at Coding, But I Won’t Use It. Here’s Why!

GPT 4.1 ist wirklich beeindruckend, wenn es ums Programmieren geht. Allerdings ist dies nicht das Modell, das ich persönlich für Programmieraufgaben verwenden würde. Es ist ein enormes Upgrade im Vergleich zu GPD-40 insbesondere in Bezug. Auf Intelligenz, Latenz und Kosten. Ich denke jedoch, dass es viel bessere Optionen gibt. Dazu später mehr im Video. In diesem Video zeige ich dir, wie du mit diesem Modell loslegen kannst. Wir werden einige vorläufige Programmiertests durchführen. Ich werde den offiziellen Playground von OpenAI verwenden, da das Modell nicht in ChatGPT verfügbar ist. Wenn du an den Benchmarks und technischen Details interessiert bist, habe ich das bereits in meinem vorherigen Video behandelt. Den Link findest du in der Videobeschreibung. Neben dem offiziellen Playground ist das Modell auch kostenlos in Cursor und Windsurf verfügbar. Okay, wir fangen also ganz einfach an und geben dem Modell kreative Freiheit. Aber später werden wir immer spezifischer, um zu sehen, ob das Modell sich an unsere Vorgaben halten kann oder nicht. Hier wähle ich aus der Liste der Modelle GPT 4.1 aus. Standardmäßig ist die Ausgabe im Playground auf nur Token beschränkt. Da wir eine Programmier Herausforderung durchführen, werde ich sie auf bis zu Token erweitern und für die Programmierung werden wir die Temperatur auf 0 begrenzen. Meine erste Aufgabe wird sein, eine moderne Landingpage mit HTML, CSS und JS zu programmieren und alles in eine einzige Datei zu packen. Ich möchte nur seine Programmierfähigkeiten sehen. Es bietet viel kreativen Freiraum für diese spezielle Aufgabe. Wir verlangen nicht wirklich, dass es etwas Bestimmtes tut. Mal sehen, was es sich einfallen lässt. Die Generierungsgeschwindigkeit ist im Vergleich zu GPT 40 definitiv viel schneller und es scheint, als würden viele Token generiert. OK, es hat etwa 33 Sekunden gedauert und etwa 3000 Token generiert. Mal sehen, ob der Code, den es geschrieben hat, tatsächlich funktioniert. Also werde ich das kopieren. Wir wechseln zu unserem Online HTML Editor. Ich füge den Text hier ein. Führen wir ihn aus. Unsere Website sieht ziemlich gut aus. Mal sehen, was der Editor gemacht hat. Es gibt zwei Links. Außerdem wurde ein Kontaktformular hinzugefügt. Es gibt einen Hero Bereich. Richtig. Das ist also das, was man von einer SAS Website erwarten würde. Die Komponenten sind wahrscheinlich vorhanden. Wir verwenden dasselbe Thema, aber dieses Mal sollen wir eine Website mit nur einer Schaltfläche erstellen. Click mich. Es soll einen zufälligen Witz anzeigen, die Hintergrundfarbe ändern und eine Animation hinzufügen. Ich erwarte nicht, dass die Witze neu sind. Wir sehen sofort, dass es sich um Adams Witz handelt. Ich wünschte, es gäbe eine Möglichkeit, einige dieser Dinge aus den Trainingsdaten zu entfernen. Also gut, führen wir ihn aus. Wir sehen eine Schaltfläche mit der Aufschrift Klick mich. Und ja, es werden zufällige Animationen hinzugefügt. Das ist also eine relativ einfache Aufgabe für jedes LLM. OK, also noch ein Programmiertest, der sich auf die Erstellung einer Website bezieht. Erstelle also eine einfache Enzyklopädie der ersten 25 legendären Pokémon einschließlich ihrer Typen. Lade Snippets und Bilder. Erstelle eine einzelne Datei mit CSS, JS und HTML. Diese Eingabeaufforderung testet nun speziell seine Trainingsdaten und seine Fähigkeit, sehr spezifisches Wissen zu verwenden. In diesem Fall bitten wir es, Bilder zu verwenden. Du kannst hier sehen, dass es einige Bilder oder URLs angezeigt hat. Ich glaube nicht, dass diese funktional sind, aber die Pokémon sind berühmt genug, dass es diese Informationen in seinen Trainingsdaten haben wird. Als wir das ausprobiert haben, konntest du tatsächlich sehen, dass es eine Liste mit 25 Pokémon angezeigt hat. Das Problem ist, dass die Weblinks nicht funktionieren. Der Suchmechanismus scheint einwandfrei zu funktionieren. Das ist also ziemlich cool. Das einzige Problem ist, dass die verwendeten Bild URLs nicht funktionieren. Das Gute ist, dass GPT 4.1 das Internet nutzen kann. Um seine Agenten Fähigkeiten zu testen, werden wir ihm ein Websuch Tool zur Verfügung stellen, mit dem es Informationen nachschlagen kann. Hier haben wir also das Websuchtool hinzugefügt. Jetzt werde ich es genau dasselbe fragen. Die einzige Ergänzung ist, dass es bei Bedarf das Websuchtool verwenden soll, um funktionierende Links für Bilder zu finden. Wir überlassen es also wieder der Entscheidung, ob es die Websuche verwenden möchte oder nicht. In diesem Fall heißt es, dass es das Web durchsucht hat, aber es scheint, dass es tatsächlich eine Websuche verwendet hat und es hat aktualisierten Code mit neuen Links generiert. Diese Links scheinen zu funktionieren. Testen wir es also und sehen, was passiert. OK, in diesem Fall ersetzen wir diesen Code einfach durch den aktualisierten Code und es scheint, dass diese Links jetzt voll funktionsfähig sind. Ich denke jedoch, dass dadurch auch die Suchfunktion entfernt wird. Dies zeigt jedoch, dass die Bild URLs in den Trainingsdaten vorhanden waren. Wir mussten es nur noch einmal fragen und schon kann es diese Informationen für uns abrufen. Jetzt möchte ich sehen, wie gut es mit Tools umgehen kann. Hier ist eine Eingabeaufforderung, die wir verwenden werden. Was ist das Model Context Protocol und wie unterscheidet es sich vom Agent to Agent Protokoll? Es kann nicht sein, dass diese Dinge in den Trainingsdaten enthalten waren, denn MCP wurde bereits im November angekündigt. Das Agent to Agent Protocol wurde letzte Woche angekündigt, aber wir werden es mal mit einem Websuchtool durchsuchen und schauen, welche Antwort wir erhalten. OK, es spricht also vom Model Context Protocol, einer Schnittstelle oder API Spezifikation, die es Clients ermöglicht, mit KI zu interagieren, indem sie den Kontext pflegen und bearbeiten. Das klingt plausibel. Es ist jedoch ein perfektes Beispiel dafür, dass das LLM nur halluziniert. Das ist nicht wirklich korrekt. Sprechen wir über das Agent to Agent Protokoll. Es wurde entwickelt, um speziell zwischen zwei oder mehr Agenten zu kommunizieren. Das ist anhand der Definition oder des Namens plausibel, aber dann heißt es, es handele sich um das OpenAI Protokoll für die Kommunikation. Zwischen Agenten. Auch hier handelt es sich um reine Halluzinationen. Das ist an dieser Stelle nur erfunden. Es enthielt sogar eine Tabelle. Ziemlich gut, oder? Wie Sie wahrscheinlich bemerkt haben, sind diese LLMs beim Generieren von Antworten äußerst zuversichtlich, selbst wenn sie sich nur Dinge ausdenken. In diesem Beispiel sehen wir ein ernstes Problem mit diesem spezifischen Modell. Obwohl das Tool zur Verfügung steht, hat es sich entschieden, es nicht zu verwenden. Dieses Mal werde ich ihm sagen, dass es bei Bedarf das Websuchtool verwenden soll. Ich werde das Tool erneut bereitstellen und mal sehen, was es tut. Zumindest hat es angefangen im Web zu suchen. Und jetzt verwendet es meiner Meinung nach das Websuchtool, da wir sehen können, dass es sich auf Vorträge von Entropic bezieht. Jetzt steht da, dass MCP ein offener Standard ist, der von Entropic entwickelt wurde, um eine nahtlose Integration zwischen großen Sprachmodellen und externen Datenquellen zu ermöglichen. Das ist großartig. Jetzt kann es die richtigen Informationen abrufen. Wir stoßen jedoch immer noch auf ein Problem, und zwar in Bezug auf das Agent zu Agent Protokoll. Ich konnte in den Quellen keine spezifischen Informationen finden. Es ist möglich, dass sich dieser Begriff auf ein Protokoll bezieht, das die direkte Kommunikation zwischen autonomen Agenten ermöglicht, die zusammenarbeiten oder Informationen austauschen können. Im Moment war dies eine Single Runden Konversation. Ich denke also, es wird nur nach MCP und nicht nach Agent zu Agent gesucht, oder vielleicht sind einige der Quellen noch nicht richtig indiziert. Wie Sie sehen, liegt hier ein potenzielles Problem vor, das das zur ordnungsgemäßen Verwendung des Tools führt. Ich denke jedoch, dass wir gründlichere Tests in einem Agent Tenorin Tierran Framework oder Workflow benötigen, um herauszufinden, wie gut dieses Modell bei der Verwendung von Tools oder Funktionsaufrufen ist. Mit der nächsten Eingabeaufforderung sollen mehrere Dinge getestet Erstens die Codierfähigkeit, dann die Kreativität, drittens die Fähigkeit, Anweisungen zu befolgen. Wir bitten das Modell, einen Fernsehsender mit den Zifferntasten von 0 bis 9 zu codieren. Das Modell muss für jeden Sender eine Idee haben, die sich an klassischen Fernsehsendern orientiert. Dann muss es für jeden Sender interessante Animationen und einen kreativen Namen auf dem Bildschirm anzeigen. Alles muss sich in einem quadratischen Feld befinden, das mit PJS und nicht mit HTML erstellt wurde, und alles muss auf den Bereich des Fernsehgeräts beschränkt bleiben. Außerdem soll alles in einer einzigen Datei abgelegt werden. Daher wurde dieser Code generiert, der etwa 500 Zeilen umfasst. Gemini hat dafür tatsächlich etwa tausend Zeilen Code erstellt. Wenn wir das nun ausführen, sieht das tatsächlich ziemlich gut aus, insbesondere die Animation für den ersten Sender mit dem Namen Retro Cartoon. Das scheint also ziemlich kreativ zu sein. Das einzige Problem, das ich jetzt sehe, ist, dass die Skizze nicht quadratisch ist. Aber bisher würde ich sagen, dass die Qualität der Animationen, die ich gesehen habe, wahrscheinlich eine der besten bei allen Modellen ist, die ich für diese spezielle Eingabeaufforderung getestet habe. Hier könnte die Ausrichtung meiner Meinung nach etwas Verbesserung vertragen. Sie könnte wahrscheinlich zentrierter sein, aber bisher sind die Namen ziemlich kreativ. Außerdem sind die Animationen, wie gesagt, wirklich interessant und scheinen alle von tatsächlichen Genres von Fernsehsendern inspiriert zu sein, also bisher ziemlich cool. Auch diese nächste hat eine Reihe bestimmter Anforderungen. Die letzte Eingabeaufforderung, die ich getestet habe, hat tatsächlich eine Menge Probleme verursacht, aber die werden wir uns später im Video ansehen. Hier bitten wir also darum, eine JavaScript Animation von fallenden Buchstaben mit realistischer Physik zu erstellen. Diese sollen jetzt zufällig in verschiedenen Größen oben auf dem Bildschirm erscheinen. Sie müssen unter der Schwerkraft der Erde fallen. Sie müssen über eine Kollisionserkennung verfügen, die auf der tatsächlichen Größe der Buchstaben und ihrer Form basiert. Und es muss eine Interaktion zwischen den Buchstaben auf dem Boden und den Bildschirmrändern geben. Wir geben auch an, dass es bestimmte Dichteeigenschaften haben muss. Richtig. Und wie die Farbe des Hintergrunds aussehen soll. Also hat es diesen Code generiert. OK, mal sehen, ob es tatsächlich funktioniert. Wir sehen also, wie einige Buchstaben herunterfallen. Sie interagieren mit dem Boden und ich glaube sogar mit anderen Buchstaben. Das ist also ziemlich cool. Die ursprüngliche Version war dazu nicht in der Lage. Es ist also ziemlich beeindruckend, dass 4.1 dies problemlos bereitstellen kann. Und selbst bei Änderungen der Bildschirmgröße scheint es ziemlich gut zu funktionieren. Eine Sache wollte ich noch Alle diese Tests, die ich durchführe, sind Single Shot Code Generierung. Normalerweise sind diese LLMs sehr gut darin, Single Shot Code von Grund auf neu zu generieren. Der eigentliche Test sind jedoch Codebearbeitungen oder Codeänderungen. Nehmen wir also an, Sie haben eine vorhandene Codebasis und Sie bitten diese LLMs, eine Funktion zu ändern oder hinzuzufügen. Das sind die meisten Anwendungen in der Praxis und dafür brauchen wir bessere Testmechanismen. OK, Dieser letzte Test ist wahrscheinlich der komplexeste und ich habe noch kein einziges LM gesehen, außer Claude, das das konnte. Ich bitte ihn also ein HTML Programm zu schreiben, das 20 Bälle zeigt, die in einem sich drehenden Siebeneck hüpfen. Das ist also eine Variation des viralen Balls, der in einem Sechseck hüpft. Aber jetzt brauchen wir 20 verschiedene Bälle und Sie müssen sich in einem Siebeneck befinden. Es muss also 7 Saiten haben. Jetzt haben alle Bälle den gleichen Radius. Alle Bälle haben Nummern von 1 bis 20. Der Ball fällt. Vom Mittelpunkt des Siebenecks herunter. Hier sind die Farbprofile für jeden einzelnen von ihnen. Sie müssen der Wirkung von Schwerkraft und Reibung unterliegen und Sie müssen realistische Kollisionen mit anderen Bällen sowie mit den Saiten des Siebenecks aufweisen. Richtig. Es gibt noch ein paar andere Anforderungen. Das ist also ein sehr spezifischer Satz von Anforderungen. Das ist die Art von Dingen, die man wahrscheinlich in Bezug auf die Anforderungen an ein reales, funktionierendes Projekt zusammenstellen würde. Und jetzt geben wir dem Modell nicht wirklich viel kreativen Freiraum. Mal sehen, was es mit diesen Anforderungen so anstellen kann. Hier ist der Code, den es erzeugt hat und hier ist die Ausgabe. Ich führe es noch einmal aus. Es beginnt in der Mitte. Es scheint, als wären alle Kugeln in einer Reihe angeordnet. Und ich weiß nicht, es macht diese verrückte Sache. Alles bewegt sich einfach hierhin, was keinen Sinn ergibt. Es scheint, als könne es die tatsächliche Kollisionserkennung nicht verfolgen. Führen wir es noch einmal aus. Alles scheint in einer Reihe zu sein, alle Kugeln und dann folgen sie genau denselben Bewegungen. Okay, ich habe diese spezielle Eingabeaufforderung ein paar Mal ausgeführt, aber aus irgendeinem Grund ist sie jedes Mal fehlgeschlagen. OK, insgesamt scheint es sich nach meinen begrenzten Tests um ein ziemlich beeindruckendes Codierungsmodell zu handeln. Die Frage ist jedoch, ob ich es als mein tägliches Tool verwenden werde oder nicht. Und die Antwort auf diese Frage lautet wahrscheinlich Nein. Lassen Sie mich erklären, warum die offiziellen Ergebnisse des Ada Polyglot Coding Benchmarks vorliegen. GPT 4.1 codiert etwa 52 Prozent und liegt damit nur knapp hinter Deep Secu 3 und Gro Beta. Die Gesamtkosten für die Ausführung dieses Modells betragen 9 Dollar und 86 Cent oder etwa 10 Dollar. Das beste Modell, das Sie sehen, ist jedoch Gemini 2.5 Pro. Das ist eine Vorschau Version, die wahrscheinlich etwa 66 Prozent der Kosten für die Ausführung von GPD 4.1 in diesem speziellen Benchmark ausmacht. Der Grund dafür ist, dass Gemini 2.5 Pro unterschiedliche Preise basierend auf der Anzahl der Token verwendet. Wenn sie weniger als Token in der Ausgabe verwenden, ist es tatsächlich günstiger als GBT 4.1 wenn sie mehr Token verwenden, Ist es wahrscheinlich etwa zehn Prozent teurer als GPD 4.1 wenn man sich aber die Leistungs und Kostenunterschiede für diesen spezifischen Datensatz ansieht, macht es keinen Sinn, GPD 4.1 zu verwenden, wenn Gemini 2.5 Pro verfügbar ist. Wenn die Kosten das Hauptkriterium sind, dann sind selbst für den kleineren Mini und ich würde sogar für den Nano Anwendungsfall DeepSecu oder Gemini Flash die bessere Wahl. Die wahrscheinlich viel leistungsfähiger, aber auch viel günstiger sind. Hier ist ein relevanter Tweet von Pierre Bongard, einem KI Wissenschaftler, der in Harvard an RNA arbeitet. Ich denke, das gibt dir auch eine wirklich gute Vorstellung davon, ob du wahrscheinlich besser mit Gemini 2.5 Pro oder etwas wie Deepseek R bedient bist. Das ist wieder ein ziemlich beeindruckendes Modell für die Programmierung. Ich Denke jedoch, dass OpenAI angesichts des Preises und der Leistung keine wirklich guten Argumente für seine Verwendung liefern konnte. Im Vergleich zu GPD ist es definitiv viel beeindruckender. Es gab jedoch bereits Modelle wie Flash mit einer sehr ähnlichen Leistung, aber zu einem viel niedrigeren Preis. Nein, nein, lasst mich jetzt wissen, was ihr davon haltet. Ich werde dieses Modell noch für einige Agentenaufgaben testen, da diese Benchmarks manchmal nicht das Gesamtbild erfassen. Es könnte Anwendungsfälle speziell für GPT 4.1 geben. Lasst es mich wissen, wenn ihr einen Anwendungsfall findet oder welches Modell ihr bevorzugt. Ich hoffe jedenfalls, ihr fandet dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.