New OpenAI Agent SDK and More: What Developers Need to Know!

OK, es gibt also wirklich spannende Neuigkeiten für Entwickler. Wenn ihr auf OpenAI aufbaut, haben sie gerade eine Reihe neuer Tools zum Erstellen von Agenten veröffentlicht. Dazu gehört eine neue Browsing Funktion hinter der API, was ziemlich praktisch ist, wenn ihr nach Echtzeit Informationen sucht, eine neue Response API, mit der ihr mit Tools hinter der API interagieren könnt. Und was meiner Meinung nach am wichtigsten ist, das neue Agent SDK. Das ist ihre Art Agenten zu erstellen und darauf haben wir schon eine Weile gewartet. Es basiert auf den Open Source Swarm Projekten. Das Beste daran ist, dass das SDK mit anderen Anbietern zusammenarbeitet, solange diese sich an den Chat Vervollständigungs API Stil von OpenAI halten. Außerdem gibt es ein neues Tracing Tool, mit dem ihr einen Blick hinter das SDK werfen könnt. Außerdem haben wir Preisinformationen für all diese neuen Funktionen. In diesem Video schauen wir uns den Blogbeitrag an und spielen einige dieser neuen Tools aus. Ich werde detailliertere Videos zum Agent SDK erstellen. Ich denke, OpenAI entwickelt sich immer mehr zu einem Produktunternehmen als nur zu einem Foundation Modellunternehmen, was für Entwickler eine großartige Neuigkeit ist. Heute haben sie drei verschiedene Dinge angekündigt. Das erste ist die Response API Chat Vervollständigung mit Funktionen zur Toolnutzung kombiniert. Sie können sie zum Erstellen ihrer eigenen Agenten oder für ihre REG Anwendungen verwenden. Diese neue API wird Zugriff auf einige Standard Tools haben. Eines davon ist die Websuche. Dies ist dieselbe Websuchfunktion, die Sie für ChatGPT verwenden können. Und es ist wirklich großartig Zu sehen, dass OpenAI diese Suche Entwicklern zur Verfügung stellt. Der einzige andere Anbieter, der dies ermöglicht, ist Google mit seiner Google Search Grounding API. Ich möchte wirklich sehen, wie gut diese neue Suchfunktion im Vergleich zur Google Suche ist. Ich werde wahrscheinlich ein Video dazu machen. Lassen Sie mich wissen, ob Sie daran interessiert sind. Das zweite Tool ist die Dateisuche. Dies ermöglicht die erweiterte Generierung von REG oder Retrieval oder Chat Funktionen mit Ihren Dokumenten. Es ist also sehr nähnlich wie die Assistance API, wurde aber deutlich verbessert. Der dritte Punkt ist die Computernutzung. Hierbei handelt es sich im Grunde genommen um den Computer, der den Agenten verwendet und nun über die API verfügbar gemacht wird. Damit können Sie nun innovative Produkte entwickeln. So funktioniert Das Es verwendet GPT 40 ein Multimodell. Damit kann tatsächlich ein Computerbildschirm überwacht werden. Der Computer, der den Agenten verwendet, ruft das Tool zur Computernutzung auf. Anschließend legt er fest, welche Aktion er ausführen möchte. Er führt die Aktion aus und generiert einen Screenshot. Er sendet ihn an das Modell zurück. Die Schleife wird so lange fortgesetzt, wie sie benötigt wird oder bis der Vorgang abgeschlossen ist, den der Benutzer vom Agenten ausführen lassen möchte. Dies ist nun über die API möglich, was ziemlich praktisch ist. Ich denke, Entwickler können damit viele coole Anwendungen entwickeln. Der letzte Punkt interessiert mich persönlich sehr. Es handelt sich um das neue Agenten SDK, mit dem Sie Workflows mit einem oder mehreren Agenten orchestrieren können. Es basiert auf Swarm, dem experimentellen und lehrreichen Paket von Swarm, das zeigt, wie man Agenten erstellt. Aber jetzt haben sie ein Open Source Agents SDK veröffentlicht, das sie als schlankes und dennoch leistungsstarkes Framework für den Aufbau von Multi Agent Frameworks bezeichnen. Es verfügt außerdem über ein eigenes Tracing Tool, was ziemlich praktisch ist, da man eine ordnungsgemäße Observability benötigt, um sicherzustellen, dass der Agent tatsächlich die Schritte ausführt, die zur Erledigung einer Aufgabe erforderlich sind, und um auch zu sehen, warum die Agenten fehlschlagen. Als nächstes möchte ich mir einige dieser Dinge genauer ansehen und Ihnen auch ein paar Demos zeigen. Das erste IST die neue Responses API. Diese kombiniert die Einfachheit von Chatvervollständigungen mit zwei Verwendungsmöglichkeiten der Assistant API. Sie können also weiterhin die ChatvervollständIGungs API verwenden. Die Assistant API wird Mitte 2026 eingestellt, aber mit dieser neuen Responses API können Sie die Verwendung des Tools aktivieren. Damit können Sie die von OpenAI entwickelten Standard Tools verwenden. Sie können dafür auch Ihre eigenen Tools einbinden. Sie können das Agents SDK verwenden, das meiner Meinung nach viel leistungsfähiger ist, insbesondere da es die Möglichkeit bietet, andere Modellanbieter zu integrieren oder mit ihnen zusammenzuarbeiten. Sie sind also nicht an OpenAI gebunden, sondern können das Agence SDK oder Framework verwenden, um ihre Multi Agent Workflows mit anderen Modellen wie Gemini oder Cloud zu erstellen. Was passiert nun mit den vorhandenen APIs? Sie werden also weiterhin die Chat Vervollständigungs API entwickeln, die nicht verschwindet, da sie sich wirklich gut für reine Vervollständigungsaufgaben eignet sich. Wenn Sie keine Tools verwenden, empfehlen Sie sie weiterhin zu verwenden. Die Assistenz API hingegen wird Mitte 2026 eingestellt. Ich denke also, es ist ein wirklich guter Zeitpunkt, über die Umstellung auf diesen neuen API Endpunkt nachzudenken. Wie sieht es mit den Standardtools aus? Das erste ist die Websuche, die sehr einfach zu verwenden ist. Hier ist also die Antwort API. Sie müssen nur den Modellnamen angeben. Derzeit funktioniert sie mit GPT 40 und GPT 40 Mini. Es gibt eine optimierte Version des Modells, die für die Websuche verwendet wird. Alles was Sie tun müssen, ist diese beiden Toolnamen in der Liste der Tools anzugeben und dann können Sie die Benutzerfrage eingeben. Schauen wir uns also dieses Websuchtool in Aktion an. Das ist also der Spielplatz. Jetzt können Sie das Modell auswählen. Ich behalte GBT 40 dann können Sie eine Liste von Tools hinzufügen. Standardmäßig sind drei Tools vorhanden. Eines ist die Funktionsdateisuche und das andere ist die Websuche. Wenn Sie dies nun konfigurieren möchten, werde ich nach optionalen Konfigurationen gefragt. Ich habe also meinen aktuellen Standort angegeben. Interessanterweise gibt es drei verschiedene Optionen für die Suchkontaktgrösse. Wählen wir also Mittel aus, fügen wir die beiden hinzu. Und wenn ich nun so etwas frage wie Was passiert heute in der Welt der KI? Schauen wir mal, was es uns eingibt. Zuerst führen wir eine Websuche durch und ich denke, es wurde richtig erkannt, dass heute der 25. März ist. In Spanien gibt es also einige Vorschriften zur Kennzeichnung von KI Inhalten. Es gibt Neuigkeiten bezüglich des Wettbewerbs von DOGE auf dem Markt für Keychips. Es geht also um Cerebras und andere Technologieriesen wie Google und Amazon und die verwendeten Quellen sind tatsächlich ziemlich gut. Ich sehe nichts über die Ankündigung von OpenAI bezüglich der neuen APIs. Wahrscheinlich wurde das noch nicht indiziert, aber man kann tatsächlich alle zurückgegebenen Zitate sehen und dann kann man auch Benutzerfeedback dazu geben, ob die erhaltene Antwort gut oder schlecht ist. Außerdem erhält man die Anzahl der als Eingabe gesendeten Token und die Anzahl der zurückgegebenen Token. Es ist ziemlich genial, dass man hinter einer API diese Möglichkeit hat, einfach Aufrufe an die Websuche zu tätigen. Man benötigt jetzt keinen externen Dienst mehr und basierend auf den gemeldeten Benchmarks ist dies viel leistungsfähiger im Vergleich zu einigen anderen Modellen, die Sie speziell mit dem einfachen QA Datensatz trainiert haben, bei dem es sich um einen Datensatz zur Informationsbeschaffung handelt. Es wurde also die Fähigkeit dieser Modelle gemessen, Informationen aus einem bestimmten Kontext abzurufen. Es übertrifft sogar die Argumentationsmodelle, da es sich um ein speziell auf die Websuche abgestimmtes Modell handelt. Das zweite Tool ist die Dateisuche. Dies ist Ihre benutzerdefinierte Implementierung einer REC oder Retrieval Augmented Generation Pipeline. Hier können Sie also eine Liste von Dokumenten angeben. Sie führt eine Chunking und Computer Embedding Analyse durch, legt sie in einem Vektorspeicher ab und verfügt dann über einen benutzerdefinierten Re Ranker über den Rückgabe Chunks. Hier sagen Sie, dass mit integrierter Optimierung und erneutem Ranking einer Ihrer Kunden ist in der Lage, leistungsstarke Rack Pipelines ohne zusätzliche Optimierung oder Konfiguration einzurichten. Wenn Sie an einer einfachen Rack Pipeline arbeiten, für die Sie nicht wirklich eine benutzerdefinierte Implementierung benötigen, ist dies möglicherweise eine Option. Sie müssen sich jedoch die Preise ansehen, die wir später im Video sehen werden. Lassen Sie mich im Kommentarbereich unten wissen, ob ich ein spezielles Video zu Ihrer neuen Datei Suchfunktion erstellen soll, da Sie damit direkt mit Ihrem Vektorspeicher interagieren können, was meiner Meinung nach ziemlich leistungsstark ist, insbesondere wenn Sie auf diesem Vektorspeicher aufbauen. Das dritte Tool ist die Computernutzung. Sie können dies jetzt direkt über die Responses API verwenden. Das integrierte Computernutzungstool kann also vom Modell generierte Maus und Tastaturaktionen erfassen und Entwicklern dann die Möglichkeit geben, Computernutzungsaufgaben direkt zu automatisieren, indem sie diese Aktionen mit dieser Umgebung in ausführbare Befehle übersetzen. Die Leistung dieses neuen Computernutzungsagenten ist bei einigen Benchmarks auf dem neuesten Stand der Technik. Sie wiesen jedoch darauf hin, dass die Leistung bei einem OS World Benchmark, der die Leistung von KI Agenten bei realen Aufgaben messen soll, derzeit nur 38 Prozent beträgt. Dies deutet darauf hin, dass das Modell für automatische Aufgaben auf Betriebssystemen noch nicht sehr zuverlässig ist. Daher müssen Sie mit dem Computernutzungsagenten sehr vorsichtig sein, obwohl er uns meiner Meinung nach wirklich einen Einblick in die Zukunft gibt. Aber im Moment glaube ich nicht, dass er für den Serieneinsatz bereit ist. Das letzte ist das Agents SDK und wie ich bereits sagte, ist es das, auf das ich mich persönlich freue, da es eine minimalistische Implementierung dessen ist, wie ein Agenten Framework aussehen sollte. Es ist keine mit unnötigen Komponenten überladene Version. Es implementiert einfach die Kernlogik von Agenten und gewährt ihnen Zugriff auf das Tool. Sie sind also nützlich. Ein weiteres Agenten Framework, das ich wirklich mag, weil es die Abstraktionen reduziert, sind kleine Agenten von Huggingface. Ich habe zuvor viele Inhalte zu kleinen Agenten erstellt. Links zu einigen Videos finden Sie in der Videobeschreibung. Schauen Sie sich diese also auch an, wenn Sie Agenten mit lokalen Modellen erstellen möchten, ohne auf externe APIs angewiesen zu sein. Das Agenten Framework ist ebenfalls ein Open Source SDK und basiert auf dem SWAM Framework, das letztes Jahr veröffentlicht wurde, aber es wurden eine ganze Reihe von Verbesserungen vorgenommen. Vereinfacht ausgedrückt ist ein Agent ein LLM, das über einen bestimmten Satz von Anweisungen verfügt und Zugriff auf integrierte Tools hat. Mir persönlich gefällt die Definition, die OpenAI verwendet, und Tropic hat eine sehr ähnliche Definition. Das Framework oder die Agenten als Spiel ermöglichen Übergaben. Dadurch wird die Kontrolle auf intelligente Weise zwischen Agenten übertragen. Falls Sie über mehrere Agenten verfügen, möchten Sie in der Regel einen Triage Agenten oder einen Master Agenten haben, der die Orchestrierung vornimmt, sowie kleinere Sub Agenten, die ganz bestimmte Aufgaben ausführen. Eine der implementierten Funktionen ist die Übergabe des Kontexts zwischen verschiedenen Agenten, je nachdem, in welcher Phase sich die Aufgabe befindet. Ich werde hierzu noch viel mehr Content erstellen. Falls Sie sich dafür interessieren, sollten Sie unbedingt den Kanal abonnieren. Außerdem wurden jetzt Schutzmaßnahmen implementiert. Das sind konfigurierbare Sicherheitsüberprüfungen für die Validierung von Eingaben und Ausgaben. Das ist besonders wichtig, wenn es zu einer sofortigen Injektion oder unerwünschten Effekten kommen kann. Sie sollten also auf jeden Fall Schutzmaßnahmen haben, sowohl für die Eingabe als auch für die Ausgabe, die von den Agenten generiert werden. Dieses Framework umfasst jetzt auch Tracing und Observability, was meiner Erfahrung nach oft ignoriert wird, aber zu den wichtigsten Komponenten eines jeden Frameworks gehört. Sie möchten einen klaren Einblick in das Geschehen haben, wie die internen Denkprozesse aussehen, welche Aktionen der Agent durchführt und warum er sie durchführt. Jetzt können Sie die Ausführungsspuren des Agenten visualisieren, um die Leistung zu debuggen und zu optimieren. Und wie gesagt, Ihre Implementierung ist kinderleicht und das gefällt mir sehr gut. So funktioniert es. Ein kurzes Sie importieren den Agenten Runner. Das ist im Grunde der Hauptexecutor, den wir ausführen werden. Dann gibt es noch eine Reihe von Tools. Nehmen wir an. In diesem Beispiel haben wir drei verschiedene Agenten. Einer ist ein Agent, der sich um den Support und Retour kümmert. Der andere Agent ist ein Einkaufsassistent. Und dann haben wir noch einen Triage Agenten, der im Grunde genommen steuert, wann die Kontrolle an einen anderen Agenten übergeben wird und welcher Agent ausgewählt werden soll. Der Übergabe Agent hat also Zugriff auf den Einkaufs und den Supportagenten und jeder Agent hat unterschiedliche Tools. Wenn Sie also sehen, dass dies keine monolithische Implementierung ist, ist jeder Agent tatsächlich spezialisiert und hat Zugriff auf ganz bestimmte Tools, was die Auswahl der Agententypen und der Arten von Operationen, die Sie ausführen können, sehr einfach macht. Dann haben Sie einen Triage Agenten, der die Benutzereingaben prüft und basierend darauf einen der Agenten auswählt und die Kontrolle an ihn überträgt. Es ist auch toll zu sehen, dass Sie die Arbeit der Open Source Community direkt anerkennen. Das war alles, was heute angekündigt wurde. Wie sehen nun die Preise für jedes dieser neuen Tools aus? Hier ist eine kurze Aufschlüsselung für die Responses. ES gelten die Standard Token Preise. Wenn Sie nur mit dem API Endpunkt chatten, aber die Websuche verwenden möchten, kostet dies 30 US Dollar pro Abfragen. Für die Websuche mit GBD Mini sind es 25 US Dollar pro Abfragen. Ich würde also sagen, dass es relativ teuer ist, aber man erhält eine wirklich gute Suchmaschine hinter der API. Im Vergleich dazu bietet Google seine Basis mit der Google Suche zumindest im Moment kostenlos an. Das ist also eine weitere Alternative, wenn Sie daran interessiert sind. Für die Dateisuch IP kostet es 2 Dollar und 50 Cent pro Tausend Abfragen. Und Sie müssen auch für die Speicherkosten bezahlen, die sich auf 10 Cent pro GB und Tag belaufen, wobei das erste Gigabyte kostenlos ist. Das ist im Vergleich zu einigen Vektorspeicherlösungen relativ teuer. Aber in diesem Fall müssen sie sich keine Gedanken über ihre benutzerdefinierte Rack Pipeline machen. OpenAI kümmert sich. Für die Computernutzung kostet es 3 Dollar pro eine Million Eingabetoken und ich denke, sie berechnen die Multimodell Token anders als Text Token. Das sollten sie also unbedingt berücksichtigen. Die Ausgabetoken kosten hingegen 12 Dollar pro eine Million Ausgabetoken. Das ist definitiv relativ teuer, denke ich, Aber es gibt derzeit keine anderen Lösungen, die diese Fähigkeiten haben. Das war also alles, was heute angekündigt wurde. Ich bin wirklich aufgeregt, vor allem wegen all dieser neuen Innovationen und neuen Tools, auf die Entwickler zu Zugriff haben werden. Lasst mich wissen, was ihr denkt oder was ihr mit diesen neuen Tools vorhaben wollt. Ich hoffe, ihr fandet dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.