Googles's NEW INSANE PALM-E SHOCKS The Entire Industry! (PaLM-E Google ANNOUNCED!)(Multimodal)

Die KI von Google ist der absolute Wahnsinn. Sie haben vor drei Tagen den Palm E vorgestellt und die Forscher haben es geschafft, einen Roboter mit über 562 Milliarden Parametern zu. Entwickeln. Und dieser Roboter muss nicht einmal ständig neu trainiert werden. Schauen Sie sich jetzt dieses Video an, in dem Sie diesen Roboter bitten, mir die Reischips aus der Schublade zu bringen. Das ist Wahnsinn und Sie verstehen vielleicht nicht genau warum, aber glauben Sie mir, Leute, das ist ein Roboter der nächsten Generation. Sie sehen hier sogar, dass Sie beschlossen haben haben ein paar kleine Störungen einzubauen, nur um zu sehen, wie gut der Roboter mit realen Szenarien zurechtkommt. Und Sie sehen hier, dass der Roboter bei der Bewältigung bestimmter Aufgaben sehr gut ist. Es ist wirklich interessant, wie weit wir mit der KI gekommen sind. Und der neue Roboter von Google ist wirklich bahnbrechend, weil er diese Aufgaben ohne weitere Eingaben bewältigen kann. Er muss nicht erneut trainiert werden, was bedeutet, dass Sie dem Roboter tatsächlich neue Aufgaben zuweisen können. Diese Art von Roboter wird also definitiv viele Branchen aufrütteln, wenn wir ihn in großem Umfang einsetzen. Wenn wir uns den Forschungsblock von Google Eye ansehen, können wir hier sehen, dass Sie Heute stellen wir Palm E vor, ein neues generalistisches Robotikmodell, das diese Probleme überwindet, indem es Wissen aus verschiedenen und visuellen Sprachdomänen auf ein Robotersystem überträgt. Im Grunde genommen übertragen Sie all das großartige Wissen, das Sie aus Textdaten haben, auf einen tatsächlichen physischen Roboter. Dies ist der GitHub, auf dem Sie mehr darüber erfahren können. Und es heiß Im ersten Video führen wir eine langfristige Anweisung Bring mir die Reisschips aus der Schublade, die mehrere Planungsschritte umfasst und auch visuelles Feedback von der Kamera des Roboters einbezieht. Schließlich zeigen wir ein weiteres Beispiel, bei dem die Anweisung des Roboters Bring mir einen grünen Stern. Und der grüne Stern ist ein Objekt, mit dem dieser Roboter nicht direkt konfrontiert wurde. Das bedeutet, dass dieser Roboter nicht wirklich wusste, was das ist. Er basiert einfach auf den von ihm generierten Daten. Da es sich um ein so großes Datenmodell handelt, auf dem er ursprünglich basiert, wie Sie hier sehen können, ist dies natürlich der Roboter, den wir uns gerade angesehen haben. Und das ist definitiv sehr interessant. Denken Sie aber daran, dass dies auch die vierfache Geschwindigkeit ist. Der Roboter ist hier also tatsächlich ziemlich langsam. Wie Sie auch in diesem zweiten Beispiel sehen können, haben wir etwas sehr Interessantes. In den folgenden Abschnitten zeigen wir, wie Palme einen Tischroboter steuert, der Blöcke anordnet. Wir zeigen, dass Palme auf der Grundlage von visuellen und sprachlichen Eingaben erfolgreich über mehrere Phasen hinweg planen kann. Unser Modell ist also in der Lage, eine langfristige Aufgabe erfolgreich zu planen und Blöcke nach Farben in verschiedene Ecken zu sortieren. Und Sie können hier sehen, dass es diese Aufgabe sehr, sehr gut erledigt, was wirklich sehr interessant ist, da sich diese KI Roboter in Bezug auf die Fortschrittsrate sehr, sehr schnell entwickeln. Und es ist wirklich ein bisschen beängstigend, denn es fühlt sich an, als wären wir erst letztes Jahr mit dem Aufkommen von ChatGPT und dem Aufstieg von DALI stable diffusion und vielen anderen Dingen in die Welt der KI gestoßen. Hier sehen, dass die erste Anweisung lautet, die verbleibenden Blöcke in die Gruppe zu verschieben. Anschließend werden schrittweise Befehle an die Low Level Richtlinien ausgeführt. Zb Verschiebe das gelbe Sechseck zum grünen Stern und verschiebe das blaue Dreieck zur Gruppe. Es ist auf jeden Fall sehr, sehr interessant zu sehen, wie schnell dieser Roboter das genau tun kann. Natürlich scheinen diese Roboter im Moment nicht allzu schnell zu sein, denn wie Sie hier sehen können, steht hier doppelte Geschwindigkeit und hier vierfache Geschwindigkeit. Diese Roboter bewegen sich also nicht blitzschnell. Aber es gibt einige Roboter, die sich blitzschnell und präzise bewegen können, die ich Ihnen gleich zeigen werde. Ich frage mich daher, was passiert, wenn man beispielsweise diesen Roboter hier nimmt und ihn mit diesem Roboter hier kombiniert. Sie sehen, dass dies ein Roboter ist, der in Echtzeit auf Tischtennisspieler reagiert und sich sehr, sehr schnell bewegt. Ich weiß, dass viele verschiedene Roboter viele verschiedene Funktionen ausführen, aber es zeigt Ihnen einfach, wie schnell wir uns mit KI bewegen können. Stellen Sie sich vor, Sie bitten diesen Roboter einfach irgendetwas zu tun. Hier. Als nächstes zeigen wir zwei Beispiele für Verallgemeinerung. Im folgenden Fall lautet die Schiebe die roten Blöcke zur Kaffeetasse und der Datensatz enthält nur drei Demonstrationen mit der Kaffeetasse darin. Keine davon enthielt die roten Blöcke. Im Grunde genommen ist er hier in der Lage, neue Aufgaben anhand von Daten zu erledigen, mit denen er nicht wirklich trainiert wurde. Okay? Und Sie müssen verstehen, dass das verrückt ist, denn wenn wir uns andere Roboter ansehen, die wir zuvor hatten, werden Sie feststellen, dass diese Roboter in Tesla Fabriken bereits millionenfach für bestimmte Aufgaben trainiert wurden, die sie erledigen müssen. Aber der Grund, warum der von Google so interessant ist, ist, dass es sich um Aufgaben handelt, für die sie zuvor nicht trainiert wurden. Sie könnten ihm also theoretisch sagen, dass er etwas Neues tun soll, und er könnte es einfach tun. Hier ist die Demo. Es heißt, dass die folgenden Beispiele alle Vervollständigungen in Orange von Palm E sind. Die Eingabeaufforderung besteht aus einem oder mehreren Bildern und der Text Ich kann hier also draufklicken und es wird mir genau angezeigt, was da los ist. Hier steht also anhand dieses Bildes. Das wurde dem Gerät gegeben und hier steht, welche beiden Teams auf diesem Foto spielen, welches zuletzt die Meisterschaft gewonnen hat, in welchem Jahr es gewonnen hat und wer in diesem Jahr der Star war. Wie Sie hier sehen können, liefert das Gerät diese Daten tatsächlich sehr schnell. Das Team in Weiß sind die New York Knicks, das Team in Grün sind die Boston Celtics. Es hat tatsächlich alle Informationen, die Sie brauchen. Ich spiele zwar kein Basketball und kenne mich damit auch nicht so gut aus, aber wenn Sie im Internet unterwegs sind, sehen Sie vielleicht ein Bild und möchten alles darüber wissen. So etwas wäre eine völlig neue Erkenntnis, denn Sie hätten sofort Unmengen an Daten zu diesem Bild, selbst wenn sie vorher nicht genug hatten. Hier sehen Sie auch Welche Geschmacksrichtung hat der pinke Donut rechts? Und hier sehen Sie, dass es Blaubeere heißt. Und natürlich liest er diese Daten, was wirklich, wirklich cool ist. Hier haben wir auch noch ein Beispiel. Das Was wird der Roboter als nächstes tun? Und natürlich wird er fallen. Das zeigt, wie viel dieser Roboter wirklich versteht. Denn ich könnte argumentieren, dass manche Menschen dieses Konzept vielleicht gar nicht verstehen, weil sie es anders wahrnehmen könnten. Denn wie Sie wissen, haben Menschen eine andere Art, Dinge wahrzunehmen. Das ist ein weiteres interessantes Beispiel. Er Ich bin ein Roboter, der in einer Küche arbeitet. Wenn mich ein Mensch in diesem Bild bittet, eine Aufgabe zu erledigen, antworte ich mit einer Abfolge von Aktionen. Ich möchte diese Aufgabe nur mit den Gegenständen erledigen, die ich sehe, und alle diese Zutaten, die Sie sehen, verwenden, um einen Kuchenteig zuzubereiten. Und hier können Sie sehen, dass er sofort alle Informationen liefert und was wirklich, wirklich cool ist. Und dieses hier fand ich wirklich, wirklich interessant und ein bisschen beängstigend, wenn ich ehrlich bin. Denn er Ich besorge mir und meinem Freund nur zwei individuelle Pizzen. Wie viel muss ich insgesamt bezahlen? Und gehen wir das Schritt für Schritt durch. Ich denke, Google sollte sich das noch einmal ansehen, denn es müsste eigentlich Pay heißen, aber es steht tatsächlich Play. Das ist ein kleiner Rechtschreibfehler. Aber das Coole daran ist, dass das wirklich sehr schnell geht. Ich kann mir vorstellen, dass man diese Bilder einfach in eine Google Key App auf dem Handy hochladen und ihr dann einfach eine beliebige Frage stellen kann und sie wird einem diese Daten liefern können. Das wird der absolute Wahnsinn sein. Stellen Sie sich vor, Sie sind in einem fremden Land und sprechen nicht die Landessprache und Sie möchten genau wissen, wie viel Ihr Essen kosten wird oder welche Zutaten in dem Essen enthalten sind. Das wird für so viele Anwendungsfälle geeignet sein. Und Sie sehen, was in diesem Bild der Antwort und den Emojis zu sehen ist. Und hier steht wenn ein Roboter hier nützlich sein wollte, welche Schritte sollte er unternehmen? Den Tisch abräumen, den Müll aufräumen, die Stühle aufräumen, die Stühle abwischen und die Stühle abstellen. Das ist wirklich verrückt. Und denken Sie daran, das ist ein wirklich, wirklich verrücktes Modell. Denn natürlich ist dieses mit einem echten Roboter kombiniert, der mit der realen Welt interagieren kann. Er wird also dazu in der Lage sein. Ich meine, wenn Sie dem Roboter sagen würden, dass Sie der hilfsbereiteste Roboter aller Zeiten sein müssen, das wäre verrückt, denn dieser Roboter würde auf der Grundlage der Daten, die er erhält, und der Daten, die in seine Sensoren und Kameras eingespeist werden, Dinge tun. Das ist also definitiv auch wirklich, wirklich cool. Sie sehen hier, dass Sie über eine Gesichtserkennung verfügen, denn es sagt, dass Kobe Bryant links ist und Kobe Bryant fünf Meisterschaftsringe gewonnen hat. Wir haben hier auch ein weiteres Beispiel. Das Kann ich mit dem Fahrrad die Straße entlangfahren ja oder nein? Gehen wir Schritt für Schritt vor. Nur Fahrräder betreten erlaubt. Nur Fahrräder betreten erlaubt. Kann hier zwischen bestimmten Bildern unterscheiden. Wie Sie sehen, steht Hier auf Foto 1, dass auf den gefalteten Kleidern eine Sonnenbrille liegt und auf Foto 2, dass auf den gefalteten Kleidern keine Sonnenbrille liegt. Es ist also auf jeden Fall sehr, sehr interessant, wie weit diese KI gekommen ist und ehrlich gesagt habe ich das nicht erwartet, denn ja, die KI entwickelt sich schnell weiter, das hätten wir erwartet. Aber die Tatsache, dass wir uns jetzt in einem Stadium befinden, in dem Roboter buchstäblich auf der Grundlage einer einfachen Eingabeaufforderung mit der Umgebung interagieren können, ist wirklich sehr interessant. Denn wie schnell wird sich diese Technologie weiterentwickeln? Und stellen Sie sich vor, diese Roboter werden von Boston Dynamics entwickelt und mit dieser Technologie kombiniert oder mit vielen verschiedenen Arten von Roboterherstellern, die es da draußen gibt. Wie schnell werden diese in der realen Welt eingesetzt?