James Evans from Amplitude discusses building AI agents for product analytics. The conversation explores why most AI tools fail at data analysis and where human judgment still matters in interpreting results.
James ist der Leiter der KI Abteilung bei Amplitude.
Warum hat deiner Meinung nach noch niemand herausgefunden, wie man einen KI-gestützten Datenwissenschaftler oder Analysten entwickelt?
Oh, es gibt all diese Trends und KI wird unsere Kristallkugel sein und die Trends wie von Zauberhand herauskristallisieren.
Ich stelle mir das eher als unbegrenzte Zeit vor.
Es ist nicht so, dass es sicherlich einige Dinge gibt, auf die diese Agenten stoßen, auf die Menschen vielleicht nicht gestoßen wären. Aber das meiste davon ist einfach nur, dass sie die gleichen Dinge tun, die man in Amplitude als Mensch tun könnte, wenn man 100 Stunden Zeit hätte.
Die meisten Leute haben das, nur nicht.
Alle sind ganz aufgeregt.
Deswegen sollten Agenten in der Lage sein.
Dinge zu liefern, ohne dass ein Mensch dazwischen funkt. Meiner persönlichen Meinung nach kann man eine Menge Wert schaffen, indem man sich einfach in diesem Zwischenstadium befindet, in dem der Agent im Hintergrund arbeiten und Erkenntnisse und Ideen liefern kann. Aber dann muss ein Mensch nur noch auf Genehmigen klicken.
Sorgen um unsere Jobs als Datenwissenschaftler oder Projektmanager. Vielleicht sollte ich das nicht sagen, aber willkommen.
Mein heutiger Gast ist James Evans. Bei Amplitude leitet James den Key Bereich. Ich freue mich sehr, mit ihm über.
KI in der Analytik zu sprechen.
James zeigt die Nutzung von Key Agenten für Analysen.
Die Vorbereitung von Projektmanagern und Datenwissenschaftlern auf diese Zukunft besprechen wir auch. Also herzlich willkommen, James.
Danke für die Einladung.
Okay, ich möchte mit einer pikanten Frage beginnen. Wir haben ja gesehen, wie KI die Programmierung komplett verändert hat, wie Cursor und all diese anderen Tools. Warum hat deiner Meinung nach noch keiner.
Einen KI gestützten Datenwissenschaftler entwickelt? Gute Frage.
80 Prozent meiner Antworten.
Weiß nicht.
Ich denke, es gibt da ein Henne Ei Problem.
Ich denke, bei vielen größeren SaaS Unternehmen.
Liegt es in der DNA, dass die Erwartungen an das eigene Produkt sehr hoch sind, wenn man noch nichts KI bezogenes auf den Markt gebracht hat. Das macht es für einen tatsächlich schwieriger, etwas auf den Markt zu bringen, denn diese Produkte sind meiner Meinung nach am Anfang von Natur aus schlecht.
Man muss einfach an die Richtung glauben und sie mit seinen Kunden weiterentwickeln.
Ich denke, das trifft auf viele SAP Produkte zu.
Bei Analytics besteht der Unterschied zwischen Analytics und einigen der von ihnen genannten Tools.
Vielleicht darin, dass es sich um eine viel multimodalere Aufgabe handelt. Als die Texterstellung in verschiedenen Formen.
Das ist nicht wirklich der schwierige Teil. Beispielsweise sind die Daten, die man eingibt.
Genau wie bei der herkömmlichen Produktanalyse, die Datenqualität der Engpass für gute Erkenntnisse. Das gilt auch für eine Key Einheit, die Analysen durchführt. Es gibt also schwierige Data Science Probleme.
An denen die Leute schon lange arbeiten.
Und die dieser Einschränkung zugrunde liegen. Und dann auch auf der Aktionsseite. Wenn es darum geht, ein Experiment zu generieren, das man auf seiner Website ausführt oder eine individuelle Umfrage zu versenden, denke ich, dass man den Workflow tatsächlich auf den menschlichen Workflow herunterbrechen muss, wie zB bei vorhandener Software, um gute Arbeit zu leisten.
Man kann nicht einfach auf KI Agenten.
Für Code Generierung vertrauen und dann Feedback geben wollen. Das gleicht dem Sprechen durch einen Strohhalm. Man braucht Regler, um das Branding zu.
Ändern und all das.
Daher denke ich, dass es tatsächlich ein ziemlich großer Aufwand war, die Datenbeschränkungen und dann auch die Workflow Beschränkungen zu überwinden, damit ein Analyst effektiv arbeiten kann. Aber offensichtlich denkt jeder, dass das Problem, an dem er arbeitet, das schwierigste ist. Das ist also mein Vorbehalt.
Verstanden. Und lassen wir die KI mal kurz beiseite.
Was ist Ihrer Meinung nach das größte Problem für Produktanalysten heutzutage? Im Bereich der Analytik versuchen die Leute ja, das größte Problem ist, dass es Zeit kostet. Es gibt nicht so viele Leute, deren Job darin besteht, mit Tools wie Amplitude.
