Wilk and Karen Pfeiffer teach a short course on getting structured outputs from language models. It covers why prompting alone fails, using OpenAI's structured output APIs, and two techniques for other models: retry loops with Instructor and token constraints with Outlines.
Ich freue mich sehr, Ihnen die Erstellung strukturierter Alarmausgaben vorstellen zu können, in Zusammenarbeit mit dotex und unterrichtet von Wilk, einem der Gründungsingenieure, und Karen Pfeiffer, Developer Relations Engineer bei DOCS. In diesem Kurs lernen Sie verschiedene gängige Ansätze kennen, um mit Ihrem LM strukturierte Ausgaben zu erstellen, die von anderen Softwarekomponenten gelesen werden können. Wenn Sie beispielsweise mit einem LM bestimmte Datenfelder für nachgelagerte Software extrahieren und ausgeben möchten, ermöglicht Ihnen ein strukturiertes Ausgabeformat wie JSON dies zuverlässig. Um ein LM in einem bestimmten Format ausgeben zu lassen, müssen Sie dem LM zunächst das Format beschreiben und er fordert Sie auf, Daten in diesem Format bereitzustellen. Dies kann manchmal funktionieren, kann aber bei komplexeren Formaten fehlschlagen, wenn Sie dies nur über eine Eingabeaufforderung tun. In diesem Kurs lernen Sie verschiedene Ansätze kennen, die sich hierfür entwickelt haben. Sie erfahren zunächst, wie sie proprietäre APIs wie OpenAI verwenden, die strukturierte Ausgaben unterstützen. Modellanbieter informieren uns zwar nicht immer über die Vorgänge im Hintergrund, aber ihre APIs für strukturierte Ausgaben ermöglichen Ihnen den schnellen Einstieg in die Entwicklung von KI Anwendungen mit JSON Ausgabe. Für Modelle, die keine strukturierte Ausgabe unterstützen oder diese nicht zuverlässig produzieren, gibt es zwei Hauptansätze. Der erste ist eine Wiederholungsklammer Methode mit Bibliotheken wie Instructor, die ein Format vom Modell anfordert und dann die Ausgabe des Modells überprüft. Schlägt dies fehl, wird ein erneuter Versuch mit zusätzlichen Hinweisen durchgeführt. Der nächste Ansatz, den Sie kennenlernen werden, ist die Verwendung der Open Source Bibliothek Outlines von Text. Outlines schränkt das Modell während der Inferenz auf Token Ebene ein. Sie haben gelernt, dass Outlines dem Modell im Hintergrund nur Token auswählen lässt, die einem vordefinierten Schema oder Muster entsprechen. Das bedeutet, dass die Key immer den Formatregeln folgt. Es sind keine Wiederholungsversuche erforderlich und sie kann Dinge wie perfekt formatierte JSON CSV Daten, HTML Code oder Asky Tic TAC Toretter generieren. Das Setzen von Zeitbeschränkungen für die Inferenz bei der Tokengenerierung ist eine wichtige Technik, damit LMS Daten zuverlässig in einem bestimmten Format ausgeben kann. Ich hoffe, Ihnen hat der Kurs gefallen.
