Bryan Catanzaro from Nvidia explains how optimizing the entire stack—from chips to algorithms—accelerates AI development. He uses DLSS as an example: integrating neural networks into graphics pipelines boosted frame rates from 27 FPS to 240 FPS through algorithmic rethinking, not just bigger hardware.
Questions this video answers
Three neural networks per frame.
About one millisecond per image for each network.
He cites accelerating a rendering process from 27 frames per second to 240 frames per second.
Integrated into over 500 games.
Chapters
Hallo zusammen. Ich freue mich sehr, hier zu sein und ein wenig über die Arbeit von Nvidia zur Beschleunigung von KI zu sprechen. Besonders freue ich mich, gemeinsam mit Alexander von Nebus darüber sprechen zu können, wie Nvidia daran arbeitet, diese Technologie KI Entwicklern weltweit zugänglich zu machen. Ich habe kürzlich BS Systems für einige meiner Forschungsarbeiten verwendet und sehr gute Erfahrungen damit gemacht. Daher freue ich mich sehr, heute mit Ihnen zusammenzuarbeiten. Als ich gefragt wurde, was aus Nvidias Sicht für dieses Publikum am wichtigsten ist, wollte ich ein wenig über die Arbeit von Nvidia zur Beschleunigung von KI sprechen und darüber, warum ein Chip niemals ausreichen kann. Ich denke, es ist wichtig, dass wir zusammenarbeiten, um KI schneller zu machen und mehr Möglichkeiten für KI zu schaffen, damit die Menschen verstehen, was dahintersteckt. Bei Nvidia betreiben wir Accelerated Computing. Dabei handelt es sich um eine vollständige Optimierung aller Technologien, die in die Entwicklung künstlicher Intelligenz einfließen. Wir bauen natürlich Chips, aber auch Systeme, Netzwerke, Rechenzentrumsdesign, Compiler, Bibliotheken und Frameworks. Wir arbeiten an Algorithmen, Anwendungen und wissen Sie, wenn wir über die Zusammensetzung all dieser Dinge nachdenken und wie sie gemeinsam optimiert werden können. Um KI Entwicklern weltweit bahnbrechende Beschleunigungen zu ermöglichen, entdecken wir unzählige Möglichkeiten, wenn wir den gesamten Stack gemeinsam betrachten. Ich möchte Ihnen ein Beispiel geben, nicht nur anhand von Sprachmodellen, sondern weil ich es spannend finde, KI etwas größer zu betrachten. Ein Projekt, an dem wir bei Nvidia seit einigen Jahren DLSS Wir haben es gerade mit unseren neuesten Blackwell Grafikprozessoren ausgeliefert. Dieses Modell berücksichtigt die Redundanz beim Rendern einer virtuellen Welt. Die Aufgabe einer GPU beim Rendern einer virtuellen Welt besteht darin, die Farbe jedes Pixels zu bestimmen. Dabei gibt es viel Redundanz. Räumliche Redundanz verleiht der Welt Struktur. Zeitliche Redundanz bestimmt die Bewegung von Objekten. Wenn man diese Struktur mit einem KI Modell erfassen könnte, könnte man einen Großteil dieser Redundanz eliminieren und den gesamten Grafikprozess beschleunigen. Genau das haben wir getan. In unserem neuesten DLSS Modell verwenden wir 3 verschiedene neuronale Netzwerke, die jedes Bild ausführen. Wir haben etwa eine Millisekunde Zeit, um jedes dieser Bilder auszuführen. Jedes dieser Netzwerke muss ein hochauflösendes Bild mehrmals pro Bild und dann hunderte Male pro Sekunde generieren. Das Ergebnis ist, dass wir einen Rendering Prozess mit 27 Bildern pro Sekunde auf 240 Bilder pro Sekunde bringen können, weil wir so viel Redundanz aus dem Prozess entfernt haben. Wenn wir nun versuchen würden, das Grafik Rendering mit herkömmlichen Mitteln zu beschleunigen, indem wir einfach einen größeren Chip mit mehr Transistoren bauen, also quasi das Mooresche Gesetz anwenden, könnten wir das Grafik Rendering nicht um das Zehnfache beschleunigen, denn der Prozess, mit dem sich die Transistoren verbessern, hat sich verlangsamt. Die einzige Möglichkeit, diese Beschleunigung zu erreichen, besteht darin, den Algorithmus zu überdenken. Wir verändern das Grafik Rendering radikal, indem wir Chi integrieren, und dabei beschleunigen wir es um ein Vielfaches. Genau das macht Nvidia so gerne. Um dies zu erreichen, mussten wir die KI weiterentwickeln, wir mussten die Chip Architektur und die Software weiterentwickeln. Wir mussten mit Spieleentwicklern weltweit zusammenarbeiten, um dies in über 500 verschiedene Spiele zu. Integrieren. Das ist unsere Arbeit, die wir Accelerated Computing nennen. Das machen wir jetzt auch für künstliche Intelligenz. Und wissen Sie, ich finde es wirklich interessant, dass Generative Key ein so rechnerisches Problem ist. Wenn man darüber nachdenkt, drehten sich die meisten unserer Technologien in der Vergangenheit hauptsächlich um die Abfrage. Es ging darum, Zugang zu Informationen zu ermöglichen, Dinge wie Suche oder verschiedene Kataloge. In der Medienbranche geht es beim Ansehen eines Films hauptsächlich darum, Zugang zu diesem Film zu finden und ihn zu streamen. Bei Generativer Key dreht sich alles um Rendering. M. Es ist fast so. Wissen Sie, diese Ä Es ist eine Recheninsel.
