AI Dev 25 | Krishna Sridhar: Shifting Paradigms—The Move of AI's Center of Gravity to Edge Devices
Krishna Sridhar from Qualcomm explains why AI is moving to edge devices: latency, privacy, and efficiency. He walks through Qualcomm's compiler and device cloud that lets developers trace PyTorch models, compile them for phones and cars, and test on real hardware. The service is free and already used by many companies.
Questions this video answers
About 20–25 models (speaker says ~20–25).
About 1,000 models (speaker states 'etwa tausend Modelle auf Smartphones').
Over 1,500 companies worldwide (speaker: 'Über 1500 Unternehmen weltweit nutzen es').
Under 20 ms (speaker: 'In unter 20 ms ... haben Sie also keine Wahl').
The chipset named '6490' (speaker: 'Einer heißt 6490').
Chapters
Es macht immer Spaß, den letzten Vortrag vor der Happy Hour zu hören. Ich verspreche, dass ich sie alle 10 Minuten früher gehen lasse, wenn Sie aufpassen.
Alles klar.
Also ich habe die letzten ä vielleicht 10 Jahre oder so mit gerätebasierter KI verbracht. Es war also eine ziemlich interessante Reise. Normalerweise beginne ich also gerne mit einer interessanten OK, ich habe hier ein Telefon bei mir. Eigentlich das falsche Telefon. Ich sollte das Telefon nicht zeigen. Hier ist eins. Ich habe hier ein Telefon bei mir. Und jedes Mal, wenn ich ein Foto mit dem Telefon mache, möchte jemand raten, wie viele Key Modelle darin laufen. Wissen Sie Genau, während ich das Foto mache.
Irgendwelche Vermutungen? Wow.
Arbeiten Sie im Kamerateam oder so? Tatsächlich liegt er nicht weit daneben. Es sind ungefähr 15 hat jemand gesagt. Er liegt nicht weit daneben.
Es geht um 20 bis 25. Jedes Mal, wenn ich wenn Sie mit Ihrem Handy ein Foto machen, sind 20 Key Modelle im Einsatz, die alles Mögliche erledigen, von der Aufnahme bis zur Farbgebung und Ähnlichem. Im Laufe der Jahre ist die Verarbeitung bei jeder Aufnahme immer umfangreicher geworden. Heutzutage laufen etwa tausend Modelle auf Smartphones, alle möglichen Anwendungen inklusive. Und wenn ich das den meisten Leuten erzähle, sind sie einfach verblüfft. Viel KI auf dem Gerät läuft. Das passiert schon seit etwa fünf Jahren. Bei Qualcomm sind wir Vorreiter bei der Entwicklung von KI auf Geräten und wir können Ihnen einen Eindruck davon vermitteln, um welche Geräte es sich handelt. Wir sprechen nicht nur von Handys, sondern auch von Autos, Laptops und PCs. Wir sprechen hier von IoT Geräten. Es gibt alle möglichen Geräte mit leistungsfähigen Chips. Damit können wir hochentwickelte Prozesse ausführen, von bis zu 60 Milliarden Parametermodellen bis hin zu lokalen Modellen. Das ist wirklich faszinierend. Man kann alles Mögliche Sprache, Text, Video, Bilder in Echtzeit auf dem Gerät verarbeiten, nicht wahr? Die naheliegende Frage Warum findet so viel Rechenleistung in der Cloud statt? Warum sollte man das auf dem Gerät tun? Dafür gibt es drei Gründe. Es gibt viele Anwendungen, die in der Cloud physikalisch nicht möglich sind. Man braucht diese schnelle Erfahrung, wie zum Beispiel eine Kamera oder Gesichtserkennung in Echtzeit.
Wenn man Auto fährt und es einen Kollisionssensor gibt, braucht man all diese Informationen in Echtzeit. Es bleibt einfach nicht genug Zeit, die Cloud anzupingen.
Daten zu verarbeiten und die Ergebnisse abzurufen. Sie benötigen die Ergebnisse in Echtzeit, typischerweise.
In unter 20 ms in solchen Anwendungsfällen haben Sie also keine Wahl. Sie müssen die Daten auf dem Gerät ausführen.
Oftmals liegt das an Datenschutzrichtlinien. In meiner Version von Vegas passiert das und das Gerät bleibt auf dem Gerät. Es ist also immer gut, wenn Sie diese Datenschutzeinstellungen haben und die Daten Ihr Gerät nicht verlassen und Sie alle Daten lokal verarbeiten können. Und drittens ist die Effizienz insgesamt entscheidend. Sie haben einfach eine Menge Rechenleistung zur Verfügung und wenn Sie diese auch nur teilweise oder sogar vollständig nutzen können, ist das für viele ein Gewinn. Nichts ist also günstiger als die Cloud der Geräte, die uns allen zur Verfügung stehen. Das ist also eine einfache Motivation dafür, was im Laufe der Jahre dazu geführt hat, dass der Prozess, immer mehr Modelle auf Geräte zu bringen, immer stärker automatisiert wurde. Bei Qualcomm haben wir ein vollautomatisches System entwickelt, mit dem jeder Ingenieur, jeder Entwickler und jeder Machine Learning Experte einfach fragen.
Hier ist mein Modell, Läuft es auf dem Gerät?
Wie schnell läuft es? Hält es meine Latenzvorgaben ein? Hält es meine Grössenvorgaben ein?
All diese Fragen lassen sich in wenigen Minuten beantworten, nicht wahr?
Und man kann Modelle und Anwendungen auf Mobilgeräten, Autos, Computern und so weiter bereitstellen.
Ich zeige Ihnen heute eine kleine Demo, wie das funktioniert.
Im Grunde ist es so etwas wie ein mehrstufiger Compiler, der ein in PTORCH, Onyx, TensorFlow oder einem beliebigen anderen Framework codiertes Modell so kompiliert, dass es auf einem Gerät in einer bestimmten Laufzeitumgebung ausgeführt wird. Laufzeiten sind mehrere verschiedene Laufzeiten. Innerhalb jeder Laufzeit können wir effizient verschiedene Recheneinheiten, wie wir sie nennen, auf dem Chip abbilden. Chips verfügen heute nicht nur über CPUs, sondern auch über integrierte GPUs und integrierte NPUs, Neural Processing Units, die auf Matrix Multiplikatoren, Faltungen und dergleichen spezialisiert sind. Man hat also diesen komplexen Chip, möchte aber ein Modell dafür kompilieren und alle frei verfügbaren SoCs nutzen können. Früher war das ziemlich kompliziert, man muss das alles manuell programmieren. Jetzt versuchen wir das Ganze soweit zu automatisieren, dass man nur noch auf eine Schaltfläche klicken muss und schon läuft es.
Das ist sozusagen das System, das wir.
Entwickelt haben und es hat wirklich Spaß gemacht, es zu entwickeln.
Kurz gesagt, man bringt sozusagen sein eigenes Modell mit und Hier ist mein Modell, hier ist mein Gerät.
Wir kümmern uns um alles dazwischen und verfügen über eine ganze Reihe von Geräten, alle möglichen Geräteinformationen, auf die unsere Kunden Zugriff haben.
Nehmen wir an, wir haben eine Reihe von Automobilherstellern, die Zugriff auf alle Cloud.
Geräte Ä, Entschuldigung, alle Automobilgeräte haben möchten.
Um ihre Experimente mit den Modellen durchzuführen. Wir haben Zugriff auf all diese Geräte.
Es ist fast so, als würde man mit einer Geräte Cloud programmieren, die Mobilgeräte, PCs, IoT Geräte und so weiter umfasst. Die Idee ist, dass Sie all das in Ihrer Python Umgebung iterieren können, ohne ein Gerät einrichten zu müssen. Wer also schon einmal im Gerätebereich gearbeitet hat, weiß, wie man ein Gerät beschafft, anschließt, ein Betriebssystem installiert, mit dem richtigen Gerät flasht und dann per SSH darauf zugreift und einen Befehl ausführt, um zu sehen, ob das Modell läuft.
Es ist einfach so viel Arbeit. Deshalb haben wir das alles automatisiert. Und die meisten Leute glauben es nicht, wenn wir sagen, dass wir das alles automatisiert haben. Deshalb sagen OK, besucht unsere Webseite und probiert es aus. Wir haben jedes Modell. Wissen Sie, alle gängigen Modelle, die Sie sich vorstellen können. Wir haben es bereits umgesetzt und Ihnen gezeigt, wie es geht. Es ist möglich. Sie können sich also einfach umsehen und.
Sehen, was lauffähig ist und es dann vielleicht übernehmen, replizieren und ihr eigenes Ding daraus machen. So, das ist es also im Wesentlichen. Über 1500 Unternehmen weltweit nutzen es. Es ist völlig kostenlos.
Zitieren Sie mich nicht, aber ich hoffe.
Es bleibt für immer völlig kostenlos. Die Idee ist, den Chip unserer Plattform so benutzerfreundlich wie möglich für alle zu gestalten, die etwas auf dem Gerät machen möchten. Und das ist sozusagen die Übung. Im letzten Jahr haben wir ein globales Ökosystem aufgebaut, in dem alle gängigen LLMs oder Modellbauer ihre Modelle in der Cloud verfügbar haben.
Wir versuchen sie auch auf das Gerät zu bringen.
Sie sehen Mistel oder Lama, natürlich auch Microsoft.
Die haben eine ganze Reihe ihrer Modelle.
Wir stellen sie auch auf dem Gerät zur Verfügung. Sie erhalten Zugriff auf das neueste Modell von MIST, das vollständig für das Gerät optimiert ist und mit dem sie Anwendungen erstellen können. Das ermöglicht uns, den gesamten Prozess der.
Entwicklung immer neuer Funktionen auf dem Gerät zu beschleunigen.
Und schließlich, da es sich um einen vollständigen Cloud Service mit integrierter Automatisierung handelt, ermöglichen wir es vielen Unternehmen weltweit, ihren Trainingsprozess in der Cloud durchzuführen und am Ende des Tages über unsere API ein einsatzbereites Modell auf dem Gerät zu erhalten.
Der gesamte Prozess ist automatisiert und Sie.
Können Modelle ständig neu trainieren, aktualisieren und.
Alle erforderlichen Iterationen durchführen.
Das erleichtert unseren Kunden wiederum den schnellen Wechsel. OK, das war alles für heute. Ich zeige Ihnen eine Demo. Falls hier niemand einen Laptop hat, können Sie, falls Sie einen haben, einfach auf den Link klicken und es ausprobieren. Es wird eine Live Demo. Hier ist ein kleines Notizbuch. In dieser Live Demo versuchen wir im Grunde ein mobiles Netzmodell zu erstellen. Ich habe mir etwas Schnelles und Einfaches ausgesucht. Das geht auch mit ziemlich komplizierten Modellen, aber ich möchte Ihnen zeigen, wie man ein mobiles Netz auf einem Telefon betreibt. Ich habe kein Telefon dabei, daher ist das der beste Teil der Demo. Sie können das komplett auf einer Geräte Cloud durchführen. OK, hier ist was wir machen werden. Sie installieren dieses Python Paket und führen anschließend Torch aus. Anschließend führen Sie einen kleinen Code aus, der das Torch Modell verfolgt, um Ihnen einen Eindruck davon zu vermitteln, wie das funktioniert. Sie müssen Ihr Modell abrufen und einen Erfassungsprozess durchlaufen, bei dem Sie die im Modell laufenden Berechnungen erfassen. Sobald diese Berechnungen erfasst sind, liegen sie in vielen verschiedenen Formaten vor. Wir können viele verschiedene Formate verstehen.
Sobald Sie diese Informationen erfasst haben, können Sie sie an unser System senden.
Es verarbeitet sie auf ein für unsere Hardware verständ Format und gibt Ihnen etwas zurück, das Sie einfach auf Ihrem Gerät ausführen können. So ist es konzipiert. Mir ist gerade aufgefallen, dass ich kein API Token eingerichtet habe. Vielleicht hätte ich das vorher tun sollen. OK, geben Sie mir einen Moment Zeit. Super.
Es sieht so aus, als ob mein Internet nicht richtig funktioniert.
Oh, da ist es. OK, ich muss sofort meinen Token ändern, Also merk dir das nicht und stell.
Es irgendwo auf GitHub ab.
OK, also ich konfiguriere dieses System mit einem einfachen API Token und das war's im Grunde.
Jetzt Sage OK. Liste eine Reihe von Geräten auf und.
Es werden eine ganze Reihe von Geräten angezeigt. Das sind alles echte physische Geräte.
Wir haben also eine Reihe von Mobiltelefonen, wir haben eine Reihe von XR Geräten und wir haben auch eine Reihe von Fahrzeuggeräten. Ich meine, das sind keine echten Autos auf einer Farm.
Es sind physische Geräte, die die Chips im Auto repräsentieren. Und all das ist mit einer Cloud verbunden, wo man im Grunde sagen OK.
Super, ich möchte diese Modelle auf diesem Gerät ausführen.
Nehmen wir an, ich versuche eine Echtzeitanwendung auf Bild oder Videobasis zu erstellen. Ich kann einfach Hey, m, ich öffne den Link in meinem anderen Browser. OK, es wird also ein Link aufgebaut und Sie werden mit einem Cloud Gerät verbunden, auf dem Android läuft. Wir stellen ein Gerät in der Cloud bereit.
Dort läuft das mobile Netzwerkmodell. Wir geben Ihnen alle möglichen Informationen zur Geschwindigkeit.
Wenn Sie Genauigkeitstests durchführen, quantisieren oder möchten, gibt es viele coole Dinge, die Sie damit machen können, um es effizienter, schneller, kleiner, besser und so weiter zu machen.
So haben Sie als Entwickler einer Anwendung.
Die Möglichkeit, damit herumzuexperimentieren, ohne Zugriff auf das gesamte Gerät zu benötigen. Und was noch wichtiger ist, wenn Sie eine Anwendung für ein Android Smartphone entwickeln, ist Android nicht gleichbedeutend mit einem kostenlosen Download. Wie innerhalb der Qualcomm Familie gibt es fast 40 verschiedene Geräte SoCs.
So können Sie sicherstellen, dass die Anwendung.
Auf all diesen Geräten reibungslos läuft.
Wir haben auch Pixelgeräte. So können Sie sicherstellen, dass die Anwendung auch auf Pixel läuft.
Und Sie haben wirklich etwas, mit dem.
Sie sicherstellen können, dass Ihre Anwendung auf.
Allen wichtigen Geräten funktioniert.
Oder wenn Sie ein Automobilhersteller sind, haben.
Sie Autos mit unterschiedlichen soc Linien.
Sie können sicherstellen, dass Ihr neuestes Modell sowohl auf alten als auch auf neuen Fahrzeugen funktioniert und so weiter. Es ist also fast fertig.
Ich sagte fünf Minuten, also sollte es in fünf Minuten fertig sein.
Aber ich öffne in der Zwischenzeit noch etwas anderes.
Also öffne ich hier ein völlig zufälliges Modell, das kein mobiles Netz war.
Es ist ein anderes Modell, das ich ausgeführt habe. Aber als Beispiel Hier ist was in ein paar Minuten passiert. Es heiß okay, hier ist mein Modell.
Es lief in 73 Millisekunden und gibt ihnen eine Aufschlüsselung darüber, was genau wo läuft.
Läuft es auf der neuronalen Verarbeitungseinheit, läuft es auf der GPU. Sie erhalten all diese Informationen.
Sie können auch alle möglichen Dinge mit numerischen Tests durchführen, um echte Inferenzen auf dem Gerät auszuführen und Ja, das war's im Grunde. Es ist schon eine Weile her, seit wir ein solches System eingeführt haben.
Wir haben unzählige Entwickler in unserer Community. Treten Sie einfach bei, wenn Sie interessiert sind. Sie können unserem Slack beitreten. Wir halten Sie über alle Neuigkeiten auf dem Laufenden.
Jedes Mal, wenn es ein neues Modell.
Gibt, wissen Sie, was morgen angesagt ist.
Versuchen wir es so schnell wie möglich.
Zu veröffentlichen, damit Sie damit auf dem Gerät herumspielen können.
Wir kündigen es an und Sie können gerne mitmachen.
Ich denke, das war's im Großen und Ganzen. Wie gesagt, ich werde sie alle 10 Minuten früher fertig machen, aber ich habe noch etwas Zeit für Fragen, falls jemand welche hat.
Ah, nur zu.
Also ein kleiner Ich denke über Fragen nach. Ä Ich denke, wenn Sie für Android Geräte wie Samsung oder so etwas entwickeln, ist das ziemlich cool, wenn ich möchte, dass eine einzelne Firma ein Gerät selbst baut. Ja. Ä Ich denke, normalerweise fällt die Wahl zum Beispiel auf Nvidia. Sie kennen das. Oh, oder so etwas, das für Android möglich ist. Wenn Sie nach etwas wie Key Entwicklung suchen, ist es relativ einfach, jemanden dazu zu bringen, darauf aufzubauen.
Super tolle Frage.
Also ich wiederhole die Frage einfach die Frage.
Er erwähnte ein anderes, nicht so cooles Konkurrenzgerät, das überhaupt nicht funktioniert.
Es ist schrecklich. Blablabla. Also er Wissen Sie, welches das beste Gerät da draußen ist? Wie kann ich es bekommen?
Und können auch andere Qualcomm Geräte Er ist ein unabhängiger Gerätehersteller. Er stellt physische Geräte her, zum Beispiel etwas, das man an eine Kamera oder ein Beleuchtungssystem anschließen kann. Qualcomm hat eine eigene Geschäftseinheit, die Chips für das sogenannte industrielle IoT verkauft. Wir haben vier oder fünf verschiedene Chipsätze. Einer heißt 6490 und ist sozusagen unser Basis Chipsatz. Damit kann man Linux installieren und so ziemlich alles machen. Er hat eine NPU und eine GPU und er ist recht günstig. Man kann sich ein Gerät besorgen und schnell damit herumexperimentieren. Und was cool Die größten Nutzer unserer Dienste sind Leute wie Sie, die schon immer mal mit einem Gerät experimentieren wollten. Und was auch toll Wenn Sie sich.
Nicht sicher sind, welches Gerät Sie benötigen.
Haben wir Zugriff auf alle Geräte in der Cloud.
Sie können also mit Ihrer Anwendung experimentieren und OK, ich versuche, eine visionsbasierte Anwendung zu entwickeln. Dieses Modell würde meiner Meinung nach gut funktionieren.
Wenn ich Echtzeitkey darauf implementieren möchte, dann können Sie einfach unsere Website öffnen. Ich kann es Ihnen zeigen. Ich glaube, das macht kein anderer Chiphersteller. Wir sind diesbezüglich sehr offen. Wir sagen, hier ist unser gesamtes Geräteportfolio.
Nehmen wir an, Sie interessieren sich für Eine Reihe von Key Anwendungen für das IoT, Sie interessieren sich für computervisionsbasierte Anwendungen.
Sie interessieren sich für eine Echtzeit Segmentierungsanwendung. Dann können Sie sich ein Bild davon machen, wie es auf unserer gesamten Geräte Palette läuft.
Sie können es sich also ansehen, vom günstigsten bis zum teuersten Gerät. Und das Coole ist, das sind keine Benchmarks, das sind echte Läufe in der Cloud.
Wenn ich also auf einen davon klicke, verweist er auf einen der Links, die ich Ihnen zuvor gezeigt habe. Sie können das also komplett selbst reproduzieren und das schicken wir unseren Kunden und Hey, warum kauft ihr euch nicht einfach euer Gerät? Je nach Preis, Flops und was tatsächlich läuft, könnt ihr schnell einen Prototyp erstellen und wenn es gut läuft, skalieren. Hoffentlich beantwortet das Ihre Ja, das ist eine andere Frage.
Können wir einfach so etwas wie einen DLC herunterladen?
Ja, Sie können ihn herunterladen und bereitstellen. Sie haben die kommerziellen Rechte, ihn bereitzustellen.
Die Frage war Kann ich einfach eines.
Der Modelle herunterladen und bereitstellen?
Ich habe ja, absolut.
Sie können es herunterladen und bereitstellen und es ist nicht nur der DLC, der.
Im Qualcomm Format vorliegt. Sie können sogar ein tfleit Format oder ein anonymes Format oder was auch immer Sie wollen herunterladen.
Alles ist lauffähig. Sie wurden alle getestet, validiert und verifiziert. Können wir hochladen?
Ja, Ihre eigene ONNX Datei hochladen, was auch immer Sie wollen. Sie können Ihr eigenes Modell hochladen und etwas erhalten, das für das Gerät kompiliert und optimiert ist. Oder wenn Sie damit herumspielen möchten, laden Sie einfach etwas von uns herunter und probieren Sie es aus. Und alle diese Rezepte, wie man das macht, sind alle Open Source. Sie können es ausprobieren. Alles klar. Cool. Es gibt ein paar von uns von Qualcomm, die hier sind. Falls Sie Interesse haben und mehr darüber erfahren möchten, wissen Sie, kommen Sie vorbei, kontaktieren Sie uns. Alles klar, danke.
