Google’s Gemini 2.0: AI Image Generation & Editing

Sie erinnern sich wahrscheinlich an dieses Bild. Es soll von GPT 40 generiert worden sein. Dies wurde vor fast einem Jahr von Greg Brockman gepostet und er sagt, es sei ein von GPT 40 generiertes Bild. Wir warten immer noch darauf, dass Sie es veröffentlichen, aber Google hat gerade Gemini Flash mit nativer Unterstützung für die Bildgenerierung veröffentlicht. Und das ist wahrscheinlich eines der verrücktesten Dinge, die ich je gesehen habe. Also habe ich genau dieses Bild genommen und dies auf Gemini Flash Experimental gepostet. Und beschreiben Sie dieses Bild detailliert einschließlich des gesamten Textes, den Sie auf dem Whiteboard sehen. Erstellen Sie eine Eingabeaufforderung, die ich mit einem Text zu Bildgenerator verwenden kann, um genau dieses Bild nachzubilden. Das hat es mir angezeigt. Es hat eine detaillierte Beschreibung angezeigt. Es ist wirklich gut darin, ohne OCR für den im Bild vorhandenen Text durchzuführen. Und dann hat es mir diese Eingabeaufforderung angezeigt, die auch den gesamten Text enthält, der aus dem Bild extrahiert wird. Dann habe ich diese Eingabeaufforderung genommen und sie an Gemini Flash zurückgegeben. Hier ist die Ausgabe, die generiert wurde. Die Textübertragung zwischen den Modalitäten ist also exakt gleich. Nehmen wir an, wir modellieren Text Pixel Sounds direkt mit einem großen autoregressiven Transformer. Was sind die Vor und Nachteile? Und es gibt sogar diesen Plot mit Compute, der ziemlich beeindruckend ist und wahrscheinlich eines der verrücktesten Dinge, die ich bisher gesehen habe. Obwohl es das OpenAI Logo nicht gerne platziert. Hat, hat es etwas anderes auf den Rücken dieser Person gesetzt. Aber jetzt wird es verrückt. Sie können dieses Bild einfach mithilfe der Textbeschreibung bearbeiten. Also habe ich Können Sie das Logo auf der Rückseite des T-Shirts durch das Logo. Von Google ersetzen? Und das ist die Antwort. Es hat also das Logo ersetzt, obwohl es meiner Meinung nach auch das Bild leicht verändert hat, da der Text darauf nicht mehr so korrekt ist wie zuvor. Aber das zeigt Ihnen wirklich, was in ein paar Iterationen möglich sein wird. Folgendes werden wir tun. Ich habe die gleiche Eingabeaufforderung verwendet, damit sie mehr Kontext bietet. Jetzt weisen wir sie an, das Google Logo auf den Rücken der Person zu setzen. Mal sehen, wie die Ausgabe aussieht. Wir haben tatsächlich eine ziemlich schöne Ausgabe. Schauen wir uns die Textübertragung zwischen den Modalitäten an. Nehmen wir an, wir modellieren dies direkt mit einem großen autoregressiven Transformer und wir sehen, dass sich das Google Logo auf dem Rücken des T Shirts dieser Person befindet. Ziemlich beeindruckend. Auf diese Weise können Sie nicht nur Bilder mithilfe von Textbeschreibungen generieren, sondern auch Bilder mit Hilfe von Textbeschreibungen bearbeiten. Auf der Ankündigungsseite finden Sie einige Beispiele, aber ich werde sie durch ein paar meiner eigenen Beispiele führen. Aber das Beste daran ist, dass Sie dies auch über die API verwenden können und es kostenlos verfügbar ist. Bevor ich Ihnen einige andere Beispiele zeige, zeige ich Ihnen, wie Sie dies in Gemini Flash tun können. Gehen Sie also zu Google Eye Studio, wählen Sie Gemini Flash Experimental aus und dann sehen Sie dieses neue Ausgabeformat. Wählen Sie also Text zusammen mit Bildern aus. Sie können auch Audio generieren. Hier ist also ein Bild von Oeynheimer und Albert Einstein. Es ist ein Schwarz Weiß Bild. Ich werde es also anweisen, dieses Bild einzufärben und schauen wir, wie das Ergebnis aussieht. OK, hier ist also die Farbausgabe und die Struktur des Originalbildes wurde beibehalten, was ziemlich gut ist und die Farbgebung sieht ziemlich gut aus. Mal sehen, ob es tatsächlich Personen auf dem Bild erkennt. Ich werde es also fragen, wer die Personen auf diesem Bild sind und schauen, was wir als Antwort erhalten. Es sagt also, dass die Personen auf dem Bild Albert Einstein und Robert Oeynheimer sind. Dies ist ein bekanntes Foto der beiden bekannten Physiker. Also ziemlich gut, aber bitten wir es Oppenheimer einen Hut auf den Kopf zu setzen. OK, ich werde also diesen Befehl oder diese Eingabeaufforderung ausführen und auf die Ausgabe warten. Diesen Punkt hat es verpasst. Es setzte Einstein einen Hut auf den Kopf anstatt Oeynheimers, aber zuvor habe ich dieselbe Eingabeaufforderung verwendet und es setzte tatsächlich Önheimer einen Hut auf den Kopf. Naja, die KI braucht noch etwas Zeit, um besser zu werden. Jetzt kann sie ein paar verrückte Sachen machen. Ich habe dieses Bild als Referenz bereitgestellt und gesagt, erstelle ein Bild von einem Hund im Stil dieses Bildes und hier ist das Bild des Hundes. Die Key ist also in der Lage, den angezeigten Stil zu verstehen und dann kann sie ein Bild in diesem Stil regenerieren, was ziemlich genial ist. Und auf jedes generierte Bild setzt sie dieses kleine Wasserzeichen. So weißt du zumindest, dass es sich um ein von KI generiertes Bild handelt. Du kannst es aber auch leicht maskieren. Ich werde jetzt ein paar andere Beispiele ausprobieren die ich auf Twitter oder X gesehen habe. Hier ist ein Bild, das ich bereitgestellt habe und ich habe die KI gebeten, eine Seitenansicht dieses Bildes zu erstellen. Und hier ist das Ergebnis. Und ich würde sagen, dass es definitiv eine Ähnlichkeit zwischen dieser Person und der Person auf dem Originalbild gibt. Sogar die Pullover, die beide tragen, sind sich sehr ähnlich. Aber Moment, es gibt noch mehr. Ich habe also gesagt, kannst du ein verkleinertes Bild erstellen, das den ganzen Körper dieser Person zeigt. Und hier ist das Die Ähnlichkeit ist definitiv da. Das T Shirt ist auch erhalten geblieben und hier ist der ganze Körper. Dieser Twitter Nutzer hat einige wirklich beeindruckende Beispiele für die Verwendung der Bilderzeugungsfunktionen von Gemini Flash und ich werde einige davon ausprobieren. Hier ist ein Beispiel, bei dem er versucht hat, zwei dieser Bilder miteinander zu kombinieren. Okay, ich habe also beide Bilder als ein einziges Bild bereitgestellt und wir werden das Programm bitten, ein hyperrealistisches Bild dieser Frau zu erstellen, die dieses Spielzeugauto hält und mal sehen, was damit möglich ist. Wir haben also das Bild und sie hält dieses Auto. Wirklich beeindruckend. Man könnte das auch mit einigen anderen Modellen machen, aber man würde wahrscheinlich so etwas wie ein Kontrollnetz und einen sehr komplizierten Workflow benötigen. Aber dieses Ding ist bisher ziemlich beeindruckend. Eines der beeindruckendsten Dinge an diesem Modell ist die Charakter Konsistenz. Es gibt zwar kleine Abweichungen, aber aber dennoch finde ich es ziemlich beeindruckend, dass das Modell beide Bilder als Eingabe verarbeiten und generieren kann. Hier habe ich es beispielsweise gebeten, den Gesichtsausdruck zu ändern, damit sie lacht. Füge eine Brille hinzu. Die Konsistenz zwischen diesen beiden Bildern ist ziemlich beeindruckend. Dann ändere die Haarfarbe und füge dem Bild einen Hintergrund hinzu. Ziemlich cool. Jetzt kannst du all das und noch viel mehr tun, indem du einfach beschreibst, was du möchtest und das Modell kann diese Bilder für dich bearbeiten. Du kannst also völlig kostenlos mit dem Modell im Google iStudio loslegen oder sie stellen es über ihre API zur Verfügung. Du kannst mit dem Gemini Flash Modell über die API Bilder generieren, indem du den neuen API Client von Google verwendest. Hier musst du nur den Namen des Modells angeben, also Gemini Flash Experimental. Dann deine Eingabeaufforderung und die gewünschte Ausgabeantwort. Wenn du also Bilder möchtest, musst du deiner Antwort Bildmodalitäten hinzufügen. Google ist jetzt wirklich ganz vorn dabei und einige der anderen Dinge, an denen Google arbeitet, sind ziemlich beeindruckend und ich denke, dass es sich damit schon bald von allen anderen Unternehmen abheben wird. Abgesehen davon hatte Google noch ein weiteres Release, und zwar mit Version 3 bei dem es sich um das Open Weight Modell handelt, das ebenfalls multimodaler Natur ist. Es gibt vier Modelle in dieser Familie, beginnend bei einer Milliarde bis hin zu 27 Milliarden und das Kontextfenster aller dieser Modelle mit Ausnahme des Modells mit einer Milliarde beträgt Token. Alle Modelle sind mehrsprachig, mit Ausnahme des Modells mit einer Milliarde und verfügen über Bild und Videoverständnisfunktionen und das Modell mit 27 Milliarden ist in Bezug auf seine Gewichtsklasse das beste Modell seiner Klasse. Im Vergleich zu allen hochmodernen Open Weight Modellen hinkt es in der Rangliste der Chatbot Arena nur Deepseek R hinterher. Ich werde ein separates Video über GEMA 2 erstellen. Wenn Sie sich also für Open Weight Modelle interessieren, sollten Sie unbedingt den Kanal abonnieren. Das war es für heute aber noch nicht. Google hat außerdem Gemini Robotics angekündigt, das auf den Gemini Modellen basiert, aber speziell für die Robotik entwickelt wurde. All dies wird durch die multimodalen Fähigkeiten von Gemini ermöglicht. Es gibt einige interessante Beispiele, die sie geteilt haben. Ich werde einen Link zu diesem Blogbeitrag einfügen, falls Sie daran interessiert sind. Insgesamt entwickelt sich Gemini zu einem wichtigen Bestandteil der Key Strategie von Google. Mit Pioniermodellen wie Gemini Pro und Gemini Flash sowie offenen Modellen wie Gemma übernimmt Google meiner Meinung nach derzeit die Führung. Insbesondere in Bezug auf die Benutzerfreundlichkeit der Modelle haben sie wahrscheinlich nicht die besten Modelle, aber sie haben die nützlichsten Modelle. Denn wenn man sich die Angebote von Google ansieht, gibt es so viele verschiedene Optionen und so viele verschiedene Preispunkte für jede Anwendung. Man braucht kein Denkmodell. Manchmal braucht man nur ein ausreichend gutes Modell, das in der Lage ist, ihre Daten zu verarbeiten oder Entscheidungen für sie zu treffen. Und ich denke, hier kann Google gegenüber einigen anderen Entwicklern von Foundation Modellen wirklich einen Vorteil haben. Schaut euch diese neue Funktion auf jeden Fall mal an und spielt damit herum. Lasst mich wissen, was ihr mit dieser nativen Bilderzeugung so alles kreieren könnt. Ich hoffe dieses Video war hilfreich für euch. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.