Amazons NEW AI Agents Are Actually Impressive... "Amazon Nova ACT"

In einer Welt, in der Webkey Agenten wahrscheinlich die Zukunft sind, ist ein neuer Kandidat im Rennen um wirklich autonome digitale Assistenten aufgetaucht. Nach den Operator und Anthropologie Funktionen von OpenAI reiht sich diese neueste Innovation in das wachsende Ökosystem von KI Systemen ein, die die Kontrolle über Webbrowser übernehmen und Aufgaben selbstständig für Nutzer ausführen sollen. Da diese Unternehmen die Grenzen des Möglichen mit agentenbasierter KI Technologie immer weiter verschieben, erleben wir eine rasante Entwicklung. All diese Systeme, die mit beispielloser Genauigkeit durch Websites navigieren, Einkäufe abschließen und Termine vereinbaren können, wurden von den KI Forschern bei Amazon entwickelt. Amazon Nova ist ein bahnbrechender neuer KI Agent, der autonom im Internet surfen kann. Dieser KI Agent ist nicht einfach vom Himmel gefallen. Er heißt Amazon Nova Act und basiert auf dem Amazon Nova Ökosystem. Amazon hat sich entschieden, seine Strategie zu verbessern und eigene Key Modelle zu veröffentlichen. Lassen Sie uns also genauer betrachten, wie das alles funktioniert. Sie sind sicher gespannt, wie Amazon seine Key Strategie weiterentwickelt. Also gut. In diesem ersten Video sehen Sie, wie Nova actkey nicht nur Texte generiert oder Fragen beantwortet, sondern sie auch dazu befähigt, Websites zu nutzen. In dieser Demo suchen Sie nach Wohnungen, klicken auf Schaltflächen und erledigen sogar Aufgaben wie die Berechnung der Pendelzeit oder die Datenorganisation. Das funktioniert, indem große Aufgaben in kleinere Schritte zerlegt werden, die KI zuverlässiger bewältigen kann. Entwickler können das Programm ganz einfach mit Python entwickeln. Wenn sie also neugierig sind, wie KI Online Dinge für uns erledigen wird, ist dies ein Blick in die Zukunft. Bald wird es mehr KI Agenten geben als Menschen, die im Internet surfen und Aufgaben für uns erledigen. Deshalb haben wir Nova Act entwickelt, ein SDK, mit dem Entwickler Webagenten erstellen und bereitstellen können, die tatsächlich funktionieren. Es wird nicht mehr lange dauern, bis diese Agenten Raumschiffe landen können, aber in Sachen Zuverlässigkeit sind wir noch nicht so weit. Nova Act begegnet den Modellen dort, wo sie sind, indem es Entwicklern ermöglicht, komplexe Aufgaben in klare Schritte zu zerlegen, denen das Modell folgen kann. So erhalten sie detaillierte Kontrolle. Ohne lästige Betreuung sehen wir Nova in Aktion. Die Steuerung des Modells ist so einfach wie ein ACT Aufruf der natürliche Sprache in Aktionen auf dem Bildschirm übersetzt. Sie können mehrere App Aufrufe miteinander verknüpfen, um zunehmend komplexere Workflows zu erstellen. Dieser blockweise Ansatz macht Workflows konsistenter, präziser und zuverlässiger. In diesem Beispiel verwenden wir Nova Act, um unsere Traumwohnung zu finden. Wir suchen eine Wohnung mit zwei Schlafzimmern und einem Bad in Redwood City. Hier haben wir unseren ersten ACT Aufruf an den Agenten gesendet. Er analysiert die Ausführung dieser Aufgabe und berücksichtigt dabei das Ergebnis jedes Schritts bei der Planung des nächsten. Im Hintergrund läuft all dies auf einer spezialisierten Version von Amazon Nova, die auf hohe Zuverlässigkeit bei UI Aufgaben trainiert ist. Wir haben das SDK so konzipiert, dass es sich nahtlos in alle ihre bevorzugten Python-Tools und Bibliotheken integriert. Und so die Umsetzung spannender Aufgaben vereinfacht. Gut. Wir sehen eine Reihe von Meet Objekten auf dem Bildschirm, greifen wir sie also mithilfe eines strukturierten Extrakts zu. Wir definieren eine Pedantic Klasse und bitten den Agenten, JSON Code zurückzugeben, der diesem Schema entspricht. Für meinen Arbeitsweg möchte ich für jedes dieser Ergebnisse die Fahrradentfernung zum nächsten Bahnhof in Kalifornien wissen. Definieren wir eine Hilfsfunktion. Ich addiere die Fahrradentfernung zu einer Wohnung und berechne die Entfernung anschließend mit Google Maps. Ich möchte nicht warten, bis alle Suchvorgänge einzeln abgeschlossen sind, deshalb arbeiten wir parallel. Da es sich um Python handelt, können wir einfach einen Thread Pool verwenden, um mehrere Browser zu starten, einen für jede Adresse. Abschließend wandle ich alle Ergebnisse mit Pandas in eine Tabelle um und sortiere sie nach der Fahrzeit zum Bahnhof in Kalifornien. Wir haben das Script im Samples Ordner unseres GitHub Repositories abgelegt. Probieren Sie es ruhig aus. Dies ist nur ein Das SDK steht Ihnen zur freien Verfügung. Tauchen Sie ein und entdecken Sie die Möglichkeiten von Nova Act. Wir sind gespannt, was Sie daraus machen.

OK, es gibt noch ein weiteres Video, das Sie sich ansehen sollten. Darin zeigen wir Ihnen, wie Amazons Nova tatsächlich funktioniert, nicht nur, was es tut, sondern auch, wie es es tut. Der Fokus liegt hier auf Zuverlässigkeit. Sie zeigen, wie Nova Act Aufgaben in einfache kleine Schritte zerlegt wie z. B. Das Klicken auf eine Schaltfläche, die Auswahl eines Datums oder das Eintippen in ein Feld. Genau wie ein Mensch in der App. Diese kleinen Schritte werden als Bausteine von KIAgenten bezeichnet. Sobald das Modell diese zuverlässig ausführen kann, können Sie sie kombinieren, um komplexere Workflows wie Urlaubsanträge oder das Einrichten automatischer Antworten zu automatisieren. Wenn Sie also sehen möchten, wie es hinter den Kulissen funktioniert, ist dieses Video genau das Richtige für Sie. Ein Agent ist wenig nützlich, wenn er nur zeitweise funktioniert. Wir konzentrieren uns darauf, Nova Act bei der Ausführung der Bausteine von Workflows zuverlässig zu machen. Wir bringen unserem Agenten bei, die gleiche Intuition für Bildschirme zu entwickeln wie wir. Das bedeutet, intuitiv mit UI Elementen wie Symbolen, Formularen, Suchfeldern, Datumsauswahlen und Dropdown Menüs zu interagieren. Sehen wir uns ein Beispiel für die Kombination dieser Bausteine an. Hier ist ein Workflow, in dem mein Kollege Urlaub beantragte, indem er ein paar einfache ACT Befehle aneinanderreiht. Zunächst erstellt Nova Act eine Kalenderlücke. Diese Aufgabe wird Schritt für Schritt durch Eingaben in offene Textfelder, Auswahl des richtigen Datums und Auswahl aus Dropdown Menüs bearbeitet. Jeder Schritt beginnt mit einem Gedanken. Der Gedanke berücksichtigt, was er auf dem Bildschirm sieht und überlegt sich den besten nächsten Schritt zur Zielerreichung. Basierend auf diesem Gedanken wird dann eine Aktion ausgeführt. Nachdem NovaAct die erste Aufgabe abgeschlossen hat, richtet es eine automatische E Mail Antwort ein. Beachten Sie die gleichen UI Elemente und atomaren Aktionen. Diese bilden die Grundlage für die Navigation im gesamten Web und die Nutzung jeglicher Software. Deshalb haben wir unseren Agenten darauf trainiert, diese Bausteine zuverlässig zu beherrschen. Schließlich reicht Nova Act einen Urlaubsantrag ein. In diesem Fall haben wir uns bereits mit unseren Anmeldedaten angemeldet, sodass wir den Antrag nahtlos einreichen können. Hier sehen wir einen dritten Kontext, in dem dieselben Grundbestandteile neu kombiniert werden können, um unsere Aufgabe zu erfüllen. Dies war nur einer der vielen Routine Workflows, bei denen Nova Act unserer Meinung nach im Alltag helfen kann. Das können einfache Dinge wie die Buchung von Besprechungsräumen oder komplexere Aufgaben wie das Einreichen von Spesenabrechnungen sein. Diese Aufgaben summieren sich. Wenn Sie Nova Act für diese Aufgabe nutzen, können Sie sich auf die wirklich wichtigen Dinge konzentrieren.

Im Video sehen Sie einen der leistungsstärksten und ehrlich gesagt unterschätzten Aspekte von Amazon Nova Die Planung von KI Agenten für die eigenständige Ausführung. Hier geht es um echte Kiautomatisierung. Sobald Sie eine Aufgabe für Ihren Agenten erstellt haben, z. B. SM bestellen oder ein Formular ausfüllen, können Sie ihn so einstellen, dass er automatisch nach einem Zeitplan ausgeführt wird. Sie müssen ihn nicht beaufsichtigen, es gibt keine manuelle Auslösung. Das gezeigte Beispiel ist super unterhaltsam und nachvollziehbar. Jeden Dienstag den gleichen Salat geliefert bekommen, sogar ohne den Computer zu berühren. Sie zeigen auch, wie man es im Headless Modus ausführt, d. H. Es arbeitet im Hintergrund, ohne etwas auf dem Bildschirm anzuzeigen.

Wenn Sie Ihre Automatisierung beaufsichtigen müssen, ist es keine richtige Automatisierung. Deshalb ist Zuverlässigkeit der Kern all unserer Entwicklungen. Sobald Ihr Workflow eingerichtet ist, können Sie den Headless Modus ganz einfach deaktivieren und ihn sogar nach Ihrem eigenen Zeitplan ausführen lassen. Sehen wir uns an, wie einfach und leistungsstark das sein kann. Ich lasse mir jeden Dienstagabend den gleichen Salat liefern, deshalb wollte ich sehen, ob Noah das noch einfacher machen kann. Ich habe einen Workflow erstellt und ihn mit einem Kronjob nach Zeitplan ausgeführt. Ich liebe Schumami, also habe ich das Modell angewiesen, danach zu suchen und es in meinen Einkaufswagen zu legen. Der Agent scrollt, um die richtige Schüssel zu finden, legt sie in meine Tasche und erledigt sogar den Bezahlvorgang für mich. Und schon steht mein Abendessen pünktlich vor meiner Tür, ohne dass ich einen Finger rühren muss. Das war die Bildschirmversion, aber der Wechsel in den Headless Modus ist so einfach wie das Umlegen eines Schalters. Probieren Sie selbst andere Scriptversionen in unserem GitHub Repo aus und entdecken Sie, wie Noah sie unterstützen kann.

Als Nächstes sehen wir uns ein unterhaltsames Beispiel an, für das Sie Ihren Amazon Nova Key Agenten verwenden können. Wir haben uns viele Möglichkeiten für Nova Act ausgedacht, von der Terminbuchung bis zur Automatisierung von Qualitätssicherungstests. Jetzt sind wir gespannt, was Sie alles bauen können und was für verrückte, alberne und unkonventionelle Dinge Sie sich vorstellen können. Als ich Nova Act ausprobierte, wollte ich etwas verrücktes machen. Also fand ich dieses lustige Taubenkampfspiel, öffnete den interaktiven Modus und schrieb schnell ein paar Sätze, in denen ich den Agenten anwiesen, unserer Taube Statistiken zuzuweisen und dann gegen andere Tauben zu kämpfen. Da wir unser Modell definitiv nicht darauf trainiert hatten bei Taubenturnieren zu glänzen, war ich mir nicht sicher, ob das wirklich funktionieren würde. Zu meiner Überraschung vergab Nova X erfolgreich alle Statistikpunkte. Und fügte sogar einen Punkt für die Verteidigung hinzu. Anschließend besiegte es zwei Tauben hintereinander und entwickelte sich schließlich zu einer riesigen muskulösen Taube. Jetzt sind sie an der Reihe es zu erkunden und wir sind gespannt, was sie erschaffen.