AI Dev 25 | Bill Jia: How Intelligence Impacts the Application Frontier

Bill Jia outlines Google's shift from simple language models to multimodal agents that combine models, tools, and real-time data. By 2028, roughly one-third of enterprise apps will be agentic, with AI adoption potentially delivering 30-45% productivity gains. Examples include commute planning with live data and a Deep Research assistant.
Questions this video answers
2028
30–45%
Project Astra; Deep Research
Frameworks: JAX and TensorFlow (plus higher-level frameworks like Charis/Caras). Hardware: TPUs and GPUs.
Chapters
Also guten Morgen allerseits. Mein Name ist Willja und ich freue mich sehr hier zu sein. Heute möchte ich über unsere vision einer neuen KI-Ära und deren Grenzen sowie über Agenten sprechen. Jeder kennt mittlerweile große Modelle, denn große Sprachmodelle funktionieren. Man gibt dem Modell alle Eingaben, das Modell verarbeitet diese und gibt dann die endgültige Antwort. Das Modell selbst kann sehr komplex sein, nicht wahr? Aber die Aufgabe, wenn man sich die Eingaben und Ausgaben ansieht, ist ziemlich einfach, nicht wahr? Es kann Ihnen helfen, viele alltägliche Fragen zu lösen, aber die Gesamtlogik ist recht simpel. Agenten hingegen können viele verschiedene große Tankmodelle kombinieren und ihnen dann die Benutzerabsichten, die auch viel Geschäftslogik beinhalten, übernehmen und ihnen dann helfen, viele komplizierte Aufgaben zu erledigen. Nehmen wir zum Beispiel an, ich wohne heute Morgen in South Bay. Ich dachte OK, mein Keynote Vortrag ist heute ungefähr um Uhr. Wie komme ich dann um Uhr von zu Hause nach San Francisco? Mit einem einfachen Luxusmodell würde ich mir Hey, wisst ihr was? Ihr könnt fahren uber, nehmen oder Lift. Das dauert ungefähr eine Stunde. Mit dem Langstreckenmodell liege ich aber sehr wahrscheinlich falsch, denn heute regnet es und der Verkehr ist ziemlich furchtbar. Ich fahre um 8 Uhr von zu Hause nach San Francisco, aber dort kann der Verkehr sehr dicht sein. Daher ist es sehr schwierig, mir eine genaue Antwort zu geben. Aber wenn ich einen großen Agenten habe, einen Agenten mit vielen Sprachen, kann dieser viele Echtzeitinformationen verarbeiten und mich ständig auf dem Laufenden halten. Hier ist ein weiteres Ich saß da und mein Google Kollege Hey Bill, heute auf der Bühne hast du nicht mal Folien, die du zeigen kannst? Du musst dir überlegen, wie du deinen Vortrag auf der Bühne vorbereitest. Ich Was soll das? Wie soll ich das richtig machen? Denn ich weiß nicht mehr, wie ich den Vortrag halten soll. Aber vorausgesetzt, ich habe Agenten in der Tasche, kann ich sie fragen Hey, wisst ihr was? Ich werde den Vortrag halten, aber wie schnell? Innerhalb von fünf Minuten kann ich mich auf diesen Vortrag vorbereiten. Das ist die Macht der Agenten. Okay, darüber habe ich bereits gesprochen. Bei Google investieren wir viel in Technologie, um Agenten zu entwickeln. Wir haben gesehen, dass das Agentenzeitalter boomt. Wir schätzen, dass bis 2028 fast ein Drittel der Unternehmenssoftwareanwendungen ein Agentic AIS enthalten wird. Wir gehen davon aus und sind ziemlich zuversichtlich, dass jedes Unternehmen, das KI einsetzt, Produktivitätssteigerungen von 30 bis 45 Prozent erzielen kann. Das ist für jedes Unternehmen enorm wichtig, nicht wahr? Agenten konzentrieren sich nicht nur auf Software oder Kundenservice. Sie können weit darüber hinausgehen. Sie können direkt in Das Gesundheitswesen, das Finanz und Bankwesen, den Einzelhandel und E-Commerce, das Bildungswesen und das Personalwesen integriert werden. Sie können praktisch jede Branche und jeden Anwendungsbereich abdecken. Um Agenten im KI Ökosystem von Google zu haben, benötigen wir, wie bereits erwähnt, eine Menge grundlegender Technologie. Große Sprachmodelle sind nur ein Aspekt. Wir benötigen außerdem Toolchains und viele übergeordnete Softwaresysteme. Bei Google ist das KI Ökosystem sehr umfassend. Daher haben wir umfangreiche Fähigkeiten zur Erstellung großer Modelle entwickelt. Wir haben außerdem die Gemini Version Gemma als Open Source veröffentlicht. Wir haben das AF Framework. Wir haben TensorFlow, das viele kennen. Wir setzen außerdem verstärkt auf JAX. JAX ist ein Framework, das speziell für große Sprachmodelle entwickelt wurde, für sehr schnelle Berechnungen, sehr leistungsstärke und zuverlässige Berechnungen, für umfangreiches Skill Training und Inferenz. Wir bauen Autos. Zu Karis gehe ich später noch mehr ein. Und auf der untersten Ebene investieren wir sehr stark in die Google Cloud, in unsere Infrastruktur, vom Rechenzentrum über die Vernetzung bis hin zu den grundlegenden Hardware Systemen TPU und GPU. Sie nutzen GPUs häufig. Um Agenten zu entwickeln, benötigen wir grundsätzlich drei grundlegende Komponenten. Auf der untersten Ebene benötigen wir hochleistungsfähige und zuverlässige Inferenz Serving Ebenen, da der gesamte Agentenverkehr letztendlich zu den grundlegenden Endpunkten ihrer Server wird. Daher benötigen wir hochleistungsfähige und leistungsfähige Inferenz Serving Ebenen. Auf der mittleren Ebene. Wir benötigen hochmodulare, agentenbasierte Komponenten. Wie bereits erwähnt, ist ein Agent nicht nur ein großes Sprachmodell. Ein Agent ist ein komplettes System, das das durch ein großes Lernmodell unterstützt wird und sehr komplexe Aufgaben erledigen kann. Daher benötigen wir viele hochmodulierte Komponenten und große unterschiedliche Modelle. Das ist eine Sache. Wir benötigen außerdem viele benutzerdefinierte Funktionen zur Darstellung von Benutzerabsichten und Bin Logiken. Alles ist modularisiert. Wenn alles auf der mittleren Ebene moduliert ist, entwickeln wir auf der oberen Ebene auch APIs und SDKs. Entwickler können APIs und SDKs nutzen, um die mittlere und untere Ebene aller Module aufzurufen. So können wir schnell und flexibel Agenten erstellen. Google hat bereits nicht nur in die Entwicklung von Agentenplattformen, sondern auch in umfangreiche Agentenplattformen investiert. Ich nenne zwei Project Astra. Project Astra ist ein Gerät, das auf Ihrem Smartphone oder Tablet läuft. Es ermöglicht Ihnen, die Welt mit Augen, Ohren und sogar einer Stimme zu beobachten. Es unterstützt Sie umfassend. Ich gebe Ihnen ein Beispiel. Google investiert außerdem sehr stark in einen Agenten namens Deep Research. Deep Research Angenommen, Sie möchten eine Studie durchführen. Ich möchte eine Forschungsarbeit schreiben. Es gibt so viele Ressourcen im Internet und Sie wissen nicht einmal, was Sie für eine Studie gefunden haben. Welche Ressourcen kann ich nutzen, um diese Recherche durchzuführen? Dann kann Ihnen Deep Research dabei helfen, online alle relevanten Informationen zu finden, diese zu kombinieren und sogar einen sehr detaillierten Bericht zu erstellen. Der detaillierte Bericht kann in ein Google Dokument exportiert werden, damit Sie ihn umfassend nutzen können. Richtig. Ich möchte eine kurze Demo zeigen. Diese Demo zeigt diesen zusätzlichen Agenten, wie er jedem Benutzer bei der Ausführung einer sehr spezifischen Aufgabe helfen kann. Natürlich ist diese Aufgabe sehr spezifisch, aber das Ziel von ASA ist es, alle verschiedenen Berechnungsfunktionen zu nutzen, um eine sehr umfassende und komplexe Aufgabe zu erfüllen. Hey, was ist das? Es sieht aus wie die Zeichnung eines Formel Rennwagens. Ist es das, was Sie wollten? Ja. Wissen Sie, was dieser Teil des Autos macht? Das ist der Frontflügel. Er hilft dem Auto, bei hoher Geschwindigkeit auf der Strecke zu bleiben, indem er Abtrieb erzeugt. Ha? Und was ist mit diesem Teil? Das ist der Heckflügel. Genau wie der Frontflügel hilft er, das Auto durch Aerodynamik am Boden zu halten. Super. Können Sie mir ein beliebiges Teil des Autos erklären? Wie wäre es mit dem Halo? Er soll den Kopf des Fahrers vor Stößen schützen. Oh, danke. Gern geschehen. Ja, das ist eine sehr einfache Aufgabe. Aber Sie sehen, dass sich das extra dafür bereits als sehr nützlich erwiesen hat. Stellen Sie sich vor, Sie haben jeden Tag viel zu tun. Mit einem Agenten können Sie Ihre Aufgaben jederzeit besser schneller und zuverlässiger erledigen, wie großartig die Welt doch ist. OK. Google investiert massiv in drei verschiedene Erstens in Gemini Modelle. Fast jedes Jahr bringen wir zwei verschiedene Versionen der Gemaior Generierungsmodelle heraus. Außerdem veröffentlichen wir bei jeder größeren Markteinführung ein offenes Modell mit dem GINA Modell. Natürlich investieren wir auch sehr stark in die Tool Entwicklung. Agenten benötigen viele Tools, um sie zu kombinieren und komplexe Aufgaben zu bewältigen. Auch die Framework Modulation ist wichtig. Mehr dazu später. Wir investieren sehr stark in Jackson Carrots. Hier kurz innehalten. Google behauptet seit 2016 als führendes Unternehmen. Der Branche zu agieren. In diesen fast zehn Jahren investieren die Forscher und Ingenieure von Google enorm in Infrastruktur, Entwicklung und Forschung. Wir entwickeln viele verschiedene grundlegende große Sprachmodelle und auch eine Multimodell Live API. Dieses große Sprachmodell muss unserer Meinung nach multimodellfähig sein, da Agenten sehr komplexe Aufgaben ausführen müssen. Daher muss das Modell sehr multimodellfähig sein. Dieses Modell kann Video, Audio, Bilder und Text als Eingaben verarbeiten und gleichzeitig Multimodell Ausgaben erzeugen. Durch die Nutzung all dieser verschiedenen Eingaben kann ein einziges Modell bereits sehr unterschiedliche Aufgaben erledigen. Stellen Sie sich vor, wir hätten viele verschiedene Modelle miteinander kombiniert. So können die modellbasierten Agenten sehr komplexe Aufgaben erledigen. Ich habe Gemini 3 bereits erwähnt. Wir sind gerade dabei, Gemini 3 das neue offene Modell und Jacks auf den Markt zu bringen. JAX ist, wie bereits erwähnt, speziell für den Aufbau großer Sprachmodelle konzipiert, trainiert und inferiert. JAX unterstützt nicht nur die TPU von Google, sondern auch die GPU und viele verschiedene Hardwarehersteller. Die Stärke von JAX liegt darin, dass es große Modelle kompilieren und basierend auf den Hardware-Eigenschaften leistungsstarken und zuverlässigen Code für alle möglichen Hardwaretypen erstellen kann. So können Training und Inferenz äußerst performant sein. Das ist sehr wichtig, denn wir alle wissen, dass große Sprachmodelle sehr komplex und teuer sind. Kapital für das Training meiner Modellinferenz ist noch wichtiger, da wir Millionen von Benutzeranfragen bearbeiten. Leistung und Zuverlässigkeit sind also enorm wichtig. Das ist die Stärke und der Vorteil von JAX. Natürlich haben wir auch Charas. Caras ist ein Framework auf höherer Ebene und kann im Backen TensorFlow, PTORCH oder JAX verwenden. Charas hilft also tatsächlich dabei, all diese Informationen zu abstrahieren. Man kann einfach ein Modell erstellen und im Backend spielt es keine Rolle, welches Framework es ist. Hack Charis kann dabei helfen. OK, ich glaube, das sind die letzten Folien. Ich denke, Google wird weiterhin sehr, sehr stark in Agenten investieren, da wir glauben, dass Agenten die Zukunft der Welt sind. Deshalb engagieren wir uns sehr für die Zusammenarbeit mit DeepLearning, AI, Online Kursen und die Entwicklung aller APIs und SDKs. Wir wollen all diese Arbeit leisten, damit die breite Community die API, das SDK und die Online Kurse nutzen kann, um ebenfalls in diese Agenten zu investieren. Und außerdem habe ich einen Punkt Google hat einen starken Open Source Geist. Wir arbeiten viel an der alten Methode, angefangen mit TensorFlow. Wir machen JS gerade in großem Stil Open Source und wir machen auch unseren Compiler OpenSLA Open Source. Wir sind überzeugt, dass die gesamte Community durch die Bereitstellung dieser Open Source Tools die Key Entwicklung vorantreiben kann. Außerdem können Agenten Frameworks erstellt werden, die die Entwicklung von Agenten deutlich schneller und zuverlässiger machen. Vielen Dan.










