Forget Chain-of-Thought—This New Tool Might Be Better

Hallo zusammen. Heute befassen wir uns mit einer der leistungsstärksten und dennoch sehr einfachen Innovationen von Antropic, dem Thin Tool. Dieses kürzlich eingeführte Feature und die damit verbundenen Forschungsergebnisse ermöglichen es Claude, komplexe Probleme effektiver zu durchdenken, indem es ihm einen dedizierten Raum für strukturiertes Denken während toolbasierter Interaktionen oder Agenten bietet. Ihr fragt euch vielleicht, was Claude mit seinem thinc Tool alles erreichen kann. Ich zeige euch später in dem Video, das ich zusammengestellt habe, ein umfassendes Beispiel dafür. Im Gegensatz zu den erweiterten Denkfunktionen von Claude, die vor dem Generieren einer endgültigen Antwort erfolgen, arbeitet das Think Tool bereits während des Antwortgenerierungsprozesses. Das gilt insbesondere dann, wenn Claude Informationen aus anderen Tools verarbeitet oder ein mehrstufiges Problem bearbeitet. Mit dem Think Tool geben wir Claude die Möglichkeit, einen zusätzlichen Denkschritt mit einem eigenen Bereich als Teil des Prozesses zum Erhalten einer endgültigen Antwort einzubinden. Das mag kompliziert klingen, ist aber extrem einfach zu implementieren und kann eure Leistung enorm steigern. Mit diesem Think Tool kann man, sobald es mit der Generierung einer Antwort beginnt, ein einen Schritt hinzufügen, um anzuhalten und zu überlegen, ob es über alle Informationen verfügt, die es zum Fortfahren benötigt. Dies ist besonders nützlich bei der Verwendung mehrerer Tools oder in Bildungsanwendungen. Warum ist dies nun wichtig? Das Think Tool adressiert eine entscheidende Herausforderung beim KI Schlussfolgernden. Bei der Bearbeitung komplexer Aufgaben, die die Einhaltung von Richtlinien, sequenzielle Entscheidungsfindung oder Interaktionen mit mehreren Tools umfassen, kann es für LLM schwierig sein, den Kontext beizubehalten und alle erforderlichen Anweisungen und Schritte zu befolgen. Laut Entropy kann die Leistung jedoch drastisch verbessert werden, wenn man dem Modell die Möglichkeit gibt, einen Moment innezuhalten, um darüber nachzudenken, was es bisher getan hat und welche verschiedenen Tools ihm mit Hilfe dieses THINC Tools zur Verfügung stehen. Und dass alles geschieht, während eine Antwort generiert wird. Das Gute daran ist jedoch, dass die Implementierung äußerst einfach ist. Sie müssen lediglich ein neues Tool namens Think in der Toolbox bereitstellen. Anschließend können wir eine Systemanweisung oder Systemnachricht hinzufügen, die das Modell mitteilt, dieses bestimmte Tool zu verwenden, wenn es weitere Informationen benötigt oder seinen Plan analysieren muss. Das Gute daran ist nun, dass wir nur die Definition dieser Beschreibung angeben müssen. Wir oder dieses Tool implementieren keinen Toolaufruf oder eine damit verbundene Funktion. Hier ist also eine sehr einfache Definition die Beschreibung dieses Tools. Verwende das Tool, um über etwas nachzudenken. Es ruft keine neuen Informationen ab oder ändert die Datenbank, sondern hängt den Gedanken einfach an das Protokoll an. Verwende es, wenn komplexe Schlussfolgerungen gezogen werden müssen oder etwas Cache Speicher benötigt wird. Ich zeige dir jetzt ein End to End Beispiel, an dem die Verwendung sehr deutlich wird. Wenn dir also nicht klar ist, wie du es verwendest, keine Sorge, wir behandeln das später im Video. Sie haben tatsächlich gezeigt, dass du eine enorme Leistungssteigerung beim Torbenchmark erzielen kannst, wenn du dieses Tool mit der entsprechenden Systemaufforderung anhängst. Dieser Benchmark konzentriert sich speziell auf den Kundensupport. In diesem Benchmark muss das LLM mehrere Tool Aufrufe tätigen. Im Moment ist dies ein Teil des Benchmarks speziell für den Airline Bereich. Wenn du dir nun diese Ergebnisse ansiehst, die blaue Basislinie mit hinzugefügtem Denktool bietet eine bessere Leistung als die blaue oder die Basislinie. Erweitertes Denken, also eine Gedankenkette, die in Cloud 3.7 eingeführt wurde, bietet jedoch eine viel bessere Leistung. Wenn du jedoch zusammen mit dem Denktool eine dedizierte Eingabeaufforderung hinzufügst, erhältst du eine erhebliche Verbesserung. Dies zeigt also zwei verschiedene Dinge. Zum einen kann das Hinzufügen eines einfachen Denktools zu einer Leistungsverbesserung führen. Mend bei einer bestimmten Reihe von Aufgaben und wir werden darüber sprechen, wann dies hilfreich sein wird. Zweitens ist Prompt Engineering nicht tot. Eingabeaufforderungen spielen auch bei diesen größeren Modellen immer noch eine entscheidende Rolle, da sie auf Grundlage dieser Ergebnisse sagen, dass die Verwendung des Denktools mit optimierter Eingabeaufforderung deutlich bessere Ergebnisse erzielte oder des erweiterten Denkmodus, der ihre Gedankenkette darstellt. Und sie sagen, dass die Leistung des erweiterten Denkens der Verwendung des alleinigen Denktools sehr ähnlich ist. Sie erläutern auch einige andere Anwendungsfälle. Einer ist eine Einzelhandelsdomäne auf der obersten Ebene. Dies ist ein weiterer Benchmark für den Kundensupport. Auch in diesem Fall führt die Verwendung des Tools selbst ohne Eingabeaufforderung immer noch zu einer deutlichen Leistungssteigerung gegenüber dem Ausgangswert. Erweitertes Denken verschlechtert jedoch tatsächlich die Leistung. Sie müssen also tatsächlich entscheiden, wann sie diese verschiedenen Ansätze verwenden möchten. Ein weiterer Benchmark, den sie getestet haben, ist der SWE Benchmark. Diese Dieser ist Code spezifisch und selbst hier sahen sie eine durchschnittliche Verbesserung von etwa 1,5 oder 1,6 Prozent. Bevor wir euch das Codebeispiel zeigen, sprechen wir darüber, wann das Think Tool verwendet werden sollte. Es gibt drei verschiedene Kategorien. Die erste Kategorie ist wenn ihr die Ausgabe der Tools analysieren wollt, die die Cloud aufruft, dann gibt es eine richtlinienlastige Umgebung, in der die Cloud detaillierte Richtlinien befolgen und deren Einhaltung überprüfen muss. Ihr könnt also das TH Tool verwenden, mit dem die Cloud mitten in der Generierung einer Antwort anhält und dann einen Plan ausarbeiten kann, um sicherzustellen, dass die Richtlinien eingehalten und die Einhaltung überprüft wird. Die dritte Kategorie ist die sequenzielle Entscheidungsfindung, wenn also jede Aktion auf vorherigen Aktionen aufbaut und Fehler kostspielig sein können. In diesem Fall ist es sehr sinnvoll, das Think Tool zu verwenden, da die Cloud mitten in der Ausführung anhalten und prüfen kann, was sie bisher getan hat und was sie tun muss, wann ihr Think Tool nicht verwenden solltet. Es gibt zwei spezielle Fä Erstens nicht sequenzielle Tool Aufrufe. Falls die Cloud nur einen einzigen Tool Aufruf oder mehrere parallele Tool Aufrufe benötigt, um eine Aufgabe abzuschließen, wird das Hinzufügen eines Tools wahrscheinlich keine Verbesserung bringen, da die Idee darin besteht, dass die Cloud die Ausführung stoppt oder tatsächlich eine Pause von der Ausführung von Multistep Aufgaben einlegt und diese nutzen kann, um ihren Plan zu überarbeiten. Falls sie jedoch einen einzigen To Laufruf oder mehrere parallele To Laufrufe durchführen muss, benötigt sie das Think Tool nicht wirklich. Der zweite Punkt ist die einfache Anweisungsbefolgung. Dies ist dann der Fall, wenn es nicht viele Einschränkungen gibt, an die sich die Cloud halten muss und ihr Standardverhalten gut genug ist. Dies gilt insbesondere für zwei Verwendungszwecke. Wenn Sie eine sequenzielle Tool Nutzung mit vielen verschiedenen Tools haben, ist es eine gute Idee, der Liste ein Think Tool hinzuzufügen und auch zu versuchen, die Eingabeaufforderung dafür zu optimieren. Dazu benötigen Sie eine Reihe von Agenten Tools. Dann fügen Sie die Tooldefinition hinzu und müssen nur die Tooldefinition implementieren. Sie müssen lediglich das Tool Think Tool aufrufen und dann je nach Ausgabe, die Sie sehen, sowohl die Toolbeschreibung als auch die verwendete Eingabeaufforderung überwachen und verfeinern. OK, genug geredet, schauen wir uns dieses Code Beispiel an, das meiner Meinung nach alles viel verständlicher macht. Dies ist ein Anwendungsfall für Agenten, bei dem die Cloud je nach Benutzeranforderung Funktionsaufrufe durchführt oder verschiedene Tools auswählt. Zuerst müssen wir also alle verschiedenen Pakete installieren und importieren. Ich aktiviere hier die Protokollierung. OK, und bevor wir uns den Code ansehen, noch eine kurze Auffrischung, wie ein Funktionsaufruf oder die Verwendung eines Tools aussieht. Der LLM hat Zugriff auf eine Reihe verschiedener Tools. Er kann beispielsweise Mathematik betreiben oder eine Websuche durchführen. Wenn er nun die Benutzeranfrage erhält, prüft der LLM die Liste der verfügbaren Tools und entscheidet, ob er ein Tool verwenden muss oder nicht. Wenn er sich entscheidet, ein Tool nicht zu verwenden, generiert er selbstständig eine Antwort. Wenn es sich jedoch dazu entscheidet, ein Tool zu verwenden, wählt es das entsprechende Tool aus, generiert die Eingaben für dieses Tool oder den Funktionsaufruf. Anschließend müssen wir als Benutzer diese Funktion ausführen, die Antwort erhalten, diese Antwort an das LLM zurückmelden und das LLM generiert die endgültige Antwort. Wenn es sich nun um einen mehrstufigen Prozess oder eine sequenzielle Ausführung handelt, kann sich diese Schleife mehrfach wiederholen. Hier liegt nun der eigentliche Vorteil des ThinQ Tools, insbesondere wenn es sich um eine sequenzielle Ausführung mit mehreren Schritten dazwischen handelt. Claude kann sich dazu entscheiden, das Think Tool zu verwenden, sich selbst einen Freiraum zu geben, seine Gedanken zu sammeln, seinen Plan zu analysieren und ihn dann bei Bedarf erneut auszuführen. Dies ist mit einer normalen erweiterten Gedankenkette oder den Argumentationsmodellen nicht möglich. OK, hier habe ich also eine Reihe verschiedener Tools für den Kundensupport definiert. Hier ist beispielsweise ein Tool, das die Kundeninformationen abruft, ein anderes Tool, das die Bestellinformationen abruft. Anschließend wird die Rückgabeberechtigung geprüft. Bei jedem Tool gibt es eine detaillierte Beschreibung sowie das Eingabeschema, welche verschiedenen Eingaben benötigt werden und welche spezifischen Eingaben erforderlich sind. Hier ist ein weiteres Tool für die Verarbeitung von Retouren Wir haben nun auch dieses Tool hinzugefügt und die Beschreibung Verwende dieses Tool, um über etwas nachzudenken. Es ruft keine neuen Informationen ab oder ändert die Datenbank, sondern hängt den Gedanken einfach an das Protokoll an. Verwende es, wenn komplexe Schlussfolgerungen oder Cache Speicher benötigt werden und die Beschreibung einen Gedanken zum Nachdenken enthält. Das ist im Grunde das Eingabeschema und ein Gedanke ist erforderlich. Das waren nur die Toolbeschreibungen. Nehmen wir jedoch an, wir haben eine Kundendatenbank und Richtlinien für Produktrückgaben. Dies sind JSON Strukturen, bei denen wir abhängig von den vom Modell generierten Eingaben einige Informationen aus diesen Wörterbüchern abrufen können. Hier ist also eine Funktion, um diese verschiedenen Toolaufrufe zu verarbeiten. Wir erhalten also den Namen des Tools und die Eingabe für das Tool. Und je nachdem, welches Tool das LLM verwenden wird, erhalten wir die Informationen aus dem entsprechenden Wörterbuch oder der Datenbank. Wenn der von der Cloud ausgewählte Toolname jedoch nur denken lautet, bewirkt es eigentlich nichts. Es gibt der Cloud lediglich etwas Raum, um über das bisherige Vorgehen nachzudenken und zu entscheiden, ob sie ihren Plan ändert. Hier ist der System Profi. Sie sind ein Kundenbetreuer für einen E Commerce Shop. Ihre Aufgabe ist es, Kunden bei Retouren und Rückerstattungen zu helfen. Richtig. Sie fügen also die normalen Dinge hinzu, die Sie in einer Systemaufforderung hinzufügen, was der Agent tun soll und welche Tools ihm zur Verfügung stehen. Wir fügen jedoch auch dieses Thin Tool Beispiel hinzu. Dies sagt Claude im Grunde, was er tun soll, wenn er das Thin Tool aufruft. Je nach Bedarf möchten Sie hier diese spezifischen Anweisungen bereitstellen. Nehmen wir beispielsweise an, der Nutzer möchte Kopfhörer aus der Bestellung zurückgeben. Dazu müssen Sie die Kundendaten, die Bestelldetails, die Produktionsbedingungen und die Rückgaberichtlinien überprüfen. Handelt es sich um einen elektronischen Artikel? Ja, innerhalb von 30 Tagen erstattungsfähig und so weiter und so weiter. Richtig. Das sind also die verschiedenen Dinge, die das Modell berücksichtigen soll. Wenn wir nun die Kundenanfrage erhalten, könnte Claude beispielsweise einen Fehler machen, wenn er ein Tool aufruft. Und wenn es sich um eine sequenzielle Ausführung handelt, könnte sich dieser Fehler mit der Zeit häufen. Wenn ich jedoch zwischendurch oder am Ende dieses Tool oder das Think Tool verwende, dann wird es sich diese Anweisungen tatsächlich ansehen. Und kann einen anderen Plan ausarbeiten oder sogar die Ausgaben oder die Abfolge der bisher getätigten Aufrufe prüfen und überprüfen, ob tatsächlich die richtigen Schritte ausgeführt werden müssen. Dies kann also äußerst leistungsstark sein und Sie sollten etwas Zeit investieren, wenn Sie diese Anweisungen im Thing Tool erstellen. Nun gibt es eine weitere Funktion für die Verarbeitung der Konversationen. Wir erhalten also eine Liste der Nachrichten, die eigentliche Benutzernachricht und dann das Modell, das wir verwenden möchten. Ich werde sie kurz durch die Funktionsweise dieser Funktion führen. Zuerst erhalten wir die Liste aller Tools, die für die Cloud verfügbar sind. Dann erhalten wir die Benutzernachricht. Dann übergeben wir diese Benutzernachricht zusammen mit der Liste der verfügbaren Tools einschließlich des Think Tools. Wir erhalten die Antwort vom Modell und prüfen dann, ob es sich für die Verwendung eines Tools entschieden hat oder nicht. Wenn nun entschieden wird, ein Tool zu verwenden, dann erhalten wir dieses Tool. Wir erhalten die Ausgabe des Tools und hängen diese Ausgabe erneut an den LLM Aufruf an, erhalten erneut eine Antwort und prüfen, ob entschieden wird, ein anderes Tool zu verwenden. Richtig. Diese Schleife wird sich also wiederholen, bis die Cloud beschließt, sie nicht zu verwenden. In diesem Fall zeigen wir dem Nutzer einfach die endgültige Antwort an. Hier ist ein Beispiel für eine Nachricht des Ich habe letzten Monat kabellose Kopfhörer im Laden gekauft. Hier ist die Bestellnummer. Sie funktioniert einwandfrei, aber die Tonqualität gefällt mir nicht. Kann ich sie zurückgeben? OK. Hier ist die tatsächliche Abfolge der Tool Aufrufe. Zuerst erhält er die Benutzernachricht. Dann verwendet Claude Tools. Das erste ist Get the Auto Number. Das ist also die zurückgegebene Bestellnummer. Das ist dann eigentlich die Eingabe. So sehen die Bestellnummer oder die Ergebnisse basierend auf der Bestellnummer aus. Dann verwendet die cloud das Tool getCustomer, um Informationen zu diesem bestimmten Kunden abzurufen. Hier fällt Ihnen auf, dass es sich um Premium handelt. Das ist also der Kundentyp. Nachdem diese Cloud NUN beschließt, das Think Tool zu verwenden, erstellt sie innerhalb des ThinQ Tools tatsächlich diesen Plan. Sie sagt Lass mich diese Rückgabeanforderung analysieren. Hier sind also die Informationen in Bezug auf die Bestelldetails und die Kundendetails. Dann folgt die normale Rückgaberichtlinie. Es heißt also, dass es sich bei dem Artikel um kabellose Kopfhörer handelt, die unter Elektronik fallen. Elektronik kann innerhalb von 30 Tagen zurückgegeben werden, egal ob neu oder gebraucht. Seit dem Kauf sind 50 Tage vergangen, was die standardmäßige tägige Garantiezeit überschreitet. Dann erkennt sie jedoch, dass der Kunde ein Premium Kunde ist und unsere Richtlinie besagt, dass Premier Kunden in bestimmten Fällen Ausnahmen gewährt werden können. Richtig. Dann überlegt sie, welche Informationen fehlen und was möglicherweise die nächsten Schritte sein könnten. Da der Kunde ein Premium Mitglied ist, kann ich überprüfen, ob er für eine Ausnahme in Frage kommt. Und dies alles wird durch die von uns hinzugefügte Systemaufforderung gesteuert. Das Tool verfügt tatsächlich nicht über all diese spezifischen Anweisungen. Wenn man das THINK Tool verwendet, wird ein geänderter Plan erstellt. Dies ist nun die endgültige Antwort, die dem Benutzer in diesem bestimmten Schritt angezeigt wird. Bei einer MultiHop Konversation werden weitere Informationen vom Nutzer erfasst. Es heißt Ich sehe, Sie möchten die kabellosen Kopfhörer mit der Bestellnummer zurückgeben. Vielen Dank für die Angabe Ihrer Bestellnummer. Die Angaben wurden nun geprüft. Dann steht Das Standardrückgaberecht für Elektronikartikel beträgt 30 Tage. Da Sie jedoch Premium Kunde sind, haben Sie möglicherweise Anspruch auf eine Ausnahme. Bevor ich Ihre Rückgabe bearbeiten kann, muss ich Sie jedoch um diese spezifischen Informationen bitten. Dann steht Sobald Sie diese Informationen angeben, kann ich Ihre Berechtigung prüfen und Ihre Rückgabeanforderung bearbeiten. Richtig. Sie sehen also, dass das Tool THINK über die normale Antwort hinausgeht, die auf der Grundlage der verfügbaren Tools generiert wird. Richtig. Hier haben wir nur die Liste der verwendeten Tools. Dieses Beispiel zeigt, dass die Cloud anhält, um komplexe Entscheidungsprozesse zu durchlaufen. Interessanterweise sagen Sie, dass, obwohl Sie die Verbesserungen bei Clot 3.7 zeigten, ihr Experiment zeigt, dass Clot 3.5 Sonnet auch in der Lage ist, Leistungssteigerungen mit derselben Konfiguration wie 3.5 Sonnet zu erzielen. Richtig. Das könnte also ein Tool sein, das sogar älteren Modellen helfen könnte. Die Idee ist sehr einfach zu implementieren und wir könnten sie möglicherweise mit anderen Modellen wie Gemini oder OpenAI ausprobieren. Ich denke also, es wäre ein interessantes Experiment und lass es mich wissen, wenn du möchtest, dass ich das mache. Wie auch immer, ich bin wirklich froh, dass das Antropic Team einige seiner Forschungsergebnisse teilt und sie der Öffentlichkeit zugänglich macht. Sie haben diesen Blogbeitrag mit dem Titel Engineering Tropic gestartet und hoffentlich werden wir immer mehr Forschungsartikel wie diesen sehen, die uns helfen werden, bessere Agentensysteme zu entwickeln. Wie auch immer, ich hoffe, du fandest dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.