Google Gemini AI is Launching Now + FAn: Real-time Robotic Vision Breakthrough

Wie wir alle wissen, hat Google vor kurzem einen neuen KI Assistenten auf den Markt gebracht, von dem viele glauben, dass es sich um einen Testlauf für ein kommendes Projekt namens Gemini handelt. Dabei werden verschiedene Key Funktionen getestet, um zu sehen, wie Nutzer darauf reagieren. Gemini soll alles von alfgo bis zur Key Suche von Google integrieren. Es soll das leistungsstärkste KI System aller Zeiten werden und das Potenzial haben, das Internet und unser tägliches Leben zu verändern. In diesem Video sprechen wir über das Gemini Projekt. Später stellen wir auch ein neues KI Projekt des MIT und der Harvard University namens Fan. Dies ist eine weitere bahnbrechende Entwicklung, es lohnt sich also, das Video bis zum Ende anzusehen, um alles darüber zu erfahren. Ursprünglich war Gemini Ein Produkt des Gemini Projekts von Google Deep Mind, der Gruppe hinter Alfgo, der Key, die 2016 den Go Weltmeister besiegte. Ziel des Gemini Projekts ist die Entwicklung einer universellen Key, die jede Aufgabe mit jeder Art von Daten ohne spezifische Modelle bewältigen kann. Gemini ist die Anfangsphase dieses Projekts. Es ist ein großes Sprachmodell, das Text, Bilder wie Videos und mehr verarbeitet. Es kann sogar Inhalte erstellen, beispielsweise Text in ein Video oder Sprache in ein Bild umwandeln. Die Einsatzmöglichkeiten sind vielfältig. Gemini nutzt Techniken von ALF Go, darunter Reinforcement Learning, das Trainieren von KI durch Feedback sowie die Baumsuche, um mögliche Aktionsergebnisse zu erkunden. Durch die Kombination dieser Techniken mit Sprachmodellen kann Gemini Herausforderungen in verschiedenen Bereichen angehen. Das Besondere an Gemini ist seine Architektur, die sich auf die gleichzeitige Verarbeitung verschiedener Datentypen konzentriert. Wenn Sie beispielsweise einen Text eingeben, der eine Szene beschreibt, kann Gemini ein entsprechendes Bild, Video und Ton erstellen. Umgekehrt kann es aus einem Bild, Video oder Ton einen beschreibenden Text erzeugen. Gemini hat gegenüber anderen Key Systemen den Vorteil, dass es mehrere Arten von Inhalten wie Text, Bilder und Audio gleichzeitig verarbeiten kann. Im Gegensatz dazu ist ChatGPT von OpenAI sehr gut darin, Text zu erstellen, hat aber Schwierigkeiten mit Bildern, Videos oder audio. Wenn Sie OpenAI dafür verwenden wollten, müssten sie andere Modelle wie E für Bilder oder Jukebox für Songs verwenden. Bei Gemini ist alles vereint. Warum arbeitet Google also an Gemini? Dafür gibt es mehrere Gründe. Erstens sieht Google Potenzial darin, seine aktuellen Tools und Produkte mit Hilfe von Gemini zu verbessern. Beispielsweise könnten der Chatbot Bart und die Suchmaschine von Google davon profitieren. Stellen Sie sich vor, Sie könnten Gemini eine beliebige Frage stellen und eine Antwort in einem beliebigen Format erhalten. Das ist effizient und kann mit Hilfe der riesigen Ressourcen von Google schnell Probleme lösen. Zweitens verfügt Google über viele Daten, mehr als viele seiner Konkurrenten. Diese Daten stammen von Quellen wie YouTube, Google Books, dem Hauptsuchindex von Google sowie wissenschaftlichen Inhalten von Google Scholar. Mit Hilfe all dieser Informationen kann Google bessere Modelle trainieren und vielfältigere und innovativere Ergebnisse liefern. Aber wir müssen noch weitermachen. Und drittens plant Google Gemini den Nutzern seiner Cloud Plattform anzubieten. Das bedeutet, dass Unternehmen und Entwickler die Fähigkeiten von Gemini für ihre Projekte nutzen könnten. Sie könnten einzigartige Lernressourcen entwickeln, unterstützende Technologien schaffen oder mit Hilfe von Ambient Computing neue Inhalte generieren. Wann können wir also damit rechnen, Gemini in Aktion zu sehen? Google hat noch kein offizielles Veröffentlichungsdatum bekannt gegeben, aber angekündigt, dass im Herbst dieses Jahres weitere Einzelheiten über das Projekt bekannt gegeben werden. Bleiben Sie also gespannt auf weitere Updates zu dieser spannenden Entwicklung. Lasst mich in der Zwischenzeit in den Kommentaren unten wissen, was ihr von Gemini haltet. Denkt ihr, dass es ChatGPT und andere Key Systeme übertreffen wird? Welche Art von Inhalten sollte Gemini eurer Meinung nach generieren? Wie würdet ihr Gemini nutzen, wenn ihr Zugriff darauf hättet? Es ist immer noch verrückt zu sehen, wie schnell sich das alles entwickelt hat. Ich meine, bevor die meisten Leute überhaupt anfingen, ChatGPT zu nutzen, spielte KI eine große Rolle bei der Ankurbelung der US Wirtschaft. Während dies für viele von uns großartige Neuigkeiten sind, ist es besorgniserregend, dass es neben großen Technologieunternehmen, die KI einsetzen, vielen anderen Unternehmen finanziell nicht gut geht. Letztes Jahr, da begannen einige Top Investoren, Vermögenswerte wie Kunstwerke anstelle von Aktien zu kaufen, um ihre Risiken zu streuen. Der heutige Sponsor Masterworks bietet euch diese Diversifizierungsstrategie an, die einst den wohlhabendsten Menschen der Welt vorbehalten war. Sie haben jahrzehntelange Auktionsdaten zusammengetragen, um in Kunstwerke zu investieren, von denen sie glauben, dass sie an Wert gewinnen werden. Sie kaufen sie im Voraus, qualifizieren sie bei der SEC und teilen sie in investierbare Anteile auf. Der Nettoerlös aus dem späteren Verkauf wird dann an die Investoren ausgeschüttet. Ich bin zwar kein Finanzberater und historische Renditen sind keine Garantie für zukünftig zukünftige Renditen, aber die Ergebnisse sind einfach beeindruckend. In nur wenigen Jahren haben sie Kunstwerke im Wert von über 45 Millionen US Dollar verkauft und vor ein paar Wochen haben sie ein Gemälde von Cäsar Lee Brown für unglaubliche 77 Prozent annualisierte Nettorendite verkauft, womit sie nun 15 profitable Verkäufe in Folge erzielt haben. Masterworks hat über Nutzer und ihre Kunstangebote waren innerhalb von Stunden ausverkauft, weshalb sie eine Warteliste erstellen mussten. Aber meine Zuschauer können die Warteschlange überspringen und sofort vorrangigen Zugang erhalten, indem sie auf den Link in der Beschreibung klicken. OK, sprechen wir jetzt über FAN, die Abkürzung für Follow Anything. Dies ist ein neues System, das von Forschern des MIT und Harvard entwickelt wurde und es Robotern ermöglicht, mit Hilfe einer Kamera und einer einfachen Suchanfrage jedes Objekt in Echtzeit zu verfolgen, egal ob es sich um Text, ein Bild oder einen Klick handelt. In diesem Video erkläre ich, was FEN ist und warum es so beeindruckend ist. FEN verwendet die Transformer Architektur für die visuelle Objektverfolgung. Transformer, allgemein bekannt für die Weiterentwicklung der Verarbeitung natürlicher Sprache NLP, können beispielsweise Text generieren und Sprachen übersetzen. Die Forscher waren neugierig, ob Transformer auch bei Bildern effektiv sein könnten. Die meisten der existierenden Robotersysteme, die Objekten folgen können, verwenden Konvolutional Neural Networks oder CNNs. Dies ist eine weitere Art von neuronalen Netzwerken, die Bilder durch Anwenden von Filtern und Pooling Operationen verarbeiten können. CNNs eignen sich hervorragend für Aufgaben wie die Klassifizierung und Segmentierung von Bildern, aber sie haben einige Einschränkungen, wenn es um die Verfolgung und Verfolgung von Objekten geht. Beispielsweise können sie nur mit einem festen Satz von Objektkategorien umgehen, für die sie trainiert wurden. Außerdem erfordern sie viel manuelle Abstimmung und Kalibrierung, um in verschiedenen Umgebungen und Szenarien gut zu funktionieren. Und sie sind nicht sehr benutzerfreundlich, da sie oft komplexe Eingaben wie Begrenzungsrahmen oder Masken benötigen, um das Zielobjekt zu spezifizieren. Fans löst diese Probleme mit einem anderen Ansatz. Anstelle von CNNs verwendet es Vision Transformers oder W. Dies sind Transformer die Bilder verarbeiten können, indem sie sie in Patches aufteilen und als Sequenzen von Token behandeln. WIDs können lernen, die Beziehungen zwischen verschiedenen Teilen eines Bildes zu erfassen, so wie Transformer die Beziehungen zwischen verschiedenen Wörtern in einem Text erfassen können, und da sie auf Aufmerksamkeitsmechanismen basieren, können sie sich auf die für die jeweilige Aufgabe relevantesten Teile des Bildes konzentrieren. Fan verwendet Wits für die Echtzeitverfolgung und Segmentierung von Objekten in Videos. Es identifiziert das Objekt und hebt es vom. Für den Einstieg ist lediglich ein Begrenzungsrahmen erforderlich. Danach können sie fen anleiten, neue Objekte zu erkennen, indem sie eine Beschreibung eingeben, ein Bild anzeigen oder im Video auf das Objekt klicken. Wenn Sie beispielsweise möchten, dass Fenn einen roten Ball verfolgt, geben Sie roter Ball ein, zeigen Sie ein Bild davon oder klicken sie im Video darauf. Fan wird dann den roten Ball während des gesamten Videos verfolgen. Sie können ganz einfach zu einem anderen Objekt wechseln, indem sie ihre Anweisung ändern. Beeindruckend ist, dass FAN nicht nur auf die Verfolgung eines Elements beschränkt ist. Es kann mehrere Objekte gleichzeitig verfolgen, indem es einfach für jedes Objekt separate Anweisungen gibt. FAN hat eine beeindruckende Leistung bei der visuellen Objektverfolgung und Segmentierung bewiesen und in Echtzeit Spitzenergebnisse erzielt. Es arbeitet mit etwa 55 Bildern pro Sekunde auf einer Standard GPU und kann Herausforderungen wie Okklusionen, schnelle Bewegungen und Hintergrundstörungen bewältigen. Im Vergleich zu gängigen CNN-basierten Methoden wie Cyamisk. Und Sega war FAN genauer und robust. Im Gegensatz zu diesen Methoden kann Fenn ohne zusätzliches Training mit verschiedenen Datensätzen arbeiten. Dieser Fortschritt lässt auf eine Zukunft schließen, in der Roboter einfach und intelligent mit jedem Objekt in jeder Umgebung interagieren können. Stellen Sie sich einen Roboterassistenten vor, der ihre Befehle versteht und Aufgaben wie Apportieren oder Putzen erledigt, oder einen Roboter, der Spiele spielen und unbekannte Orte erkunden kann. Die Zukunft sieht also vielversprechend aus, denke ich, und das Beste daran ist, dass FAN keine proprietäre Technologie ist, auf die nur wenige Menschen zugreifen können. Die Forscher haben ihren Code und ihre Modelle online zur Verfügung gestellt, damit jeder sie verwenden und verbessern kann. Sie finden ihn im GitHub Repository und ich kann Ihnen nur wärmstens empfehlen, ihn sich anzusehen und selbst auszuprobieren. Vielen Dank fürs Zuschauen des Videos. Ich hoffe, Sie fanden es informativ. Wenn ja, dann klicken Sie auf den Gefällt mir Button, abonnieren Sie meinen Kanal und denken Sie daran, auf das Glockensymbol zu klicken, um über neue Uploads auf dem Laufenden zu bleiben. Danke nochmal und bis zum nächsten Mal.