John Kah Houdi and Aman Khan teach how to evaluate AI agents by writing code-based tests for specific steps and using large language models as evaluation criteria. They cover building agents with tools and routers, visualizing execution paths, extracting examples to test each component, and running experiments to improve agent design.
Ich freue mich, die Bewertung von KI Agenten vorzustellen, die in Zusammenarbeit mit ARISEI entwickelt und von John Kah Houdi und.
Aman Khan unterrichtet werden.
Wenn Sie einen KI Agenten erstellen, sind.
Bewertungen oder eals eine wichtige Komponente des Entwicklungsprozesses.
Nehmen wir an, Sie erstellen einen KI.
Codierungsagenten zur Analyse von Daten. Das ist tatsächlich ein laufendes Beispiel, das wir verwenden. Oder wenn Sie einen KI Rechercheagenten oder einen Einkaufsassistenten oder Ähnliches erstellen, besteht einer.
Der wichtigsten Schritte darin, einen Weg zu finden, die Leistung zu bewerten, damit Sie Iterationen vorantreiben und Ihr System systematisch verbessern können. Die Bewertung der Leistung des gesamten Agenten ist wichtig, aber bei komplexen Workflows ist es auch hilfreich, Bewertungen pro Komponente oder pro Schritt vorzunehmen.
Hat Ihr Agent beispielsweise das richtige Tool ausgewählt oder die richtige Funktion aufgerufen oder.
Beides korrekt ausgeführt, oder ist die Ausgabe korrekt, wenn er Text oder Code generiert? In diesem kurzen Kurs lernen Sie codebasiertes EALS kennen, bei dem Sie Code explizit schreiben, um einen bestimmten Schritt zu testen, sowie große Sprachmodelle als Bewertungskriterien, bei denen Sie ein OHM auffordern, sehr effizient Methoden zur Bewertung offenerer Ausgaben zu entwickeln.
Das ist richtig.
Sie erstellen einen codebasierten Agenten, den Sie im Laufe des Kurses bewerten werden.
Der Agent verfügt über eine Reihe von.
Tools, einen Speicher, der den Chatverlauf verfolgt, und einen Router, der entscheidet, welches Tool verwendet werden soll. Sie visualisieren die Pfade, die Ihr Agent.
Zur Verarbeitung von Benutzeranfragen nimmt, und extrahieren.
Daraus Beispiele, um Ihren Agenten zu bewerten. Anschließend erstellen Sie Tests, um jede Komponente.
Ihres A zu bewerten.
Sie erfahren, wie Sie die Qualität oder.
Genauigkeit der Ausgabe jedes einzelnen Tools messen.
Bewerten können, ob der Router das richtige Tool auswählt und untersuchen, ob der von.
Ihrem Agenten genommene Pfad unnötige Schritte beinhaltet. Schließlich verwenden Sie diese Evaluatoren, um Experimente einzurichten und Ihr Agentendesign zu verbessern. Nachdem ich an einer Vielzahl von Key Agenten in vielen verschiedenen Anwendungen gearbeit habe, denke ich, dass die richtige Bewertung einer der schwierigsten und auch am meisten unterschätzten.
Schritte bei der Entwicklung von Workflows ist. Also lerne wie das geht nun in diesem Kurs.
