Google’s AI Studio in 22 Minutes

Google hat die iStudio Oberfläche gerade komplett überarbeitet und bietet nun neue Funktionen wie Die Videogenerierung in iStudio. In diesem Video zeige ich dir alles, was du über diese Überarbeitung und alle Funktionen wissen musst. Wenn du KI von Google verwenden möchtest, gibt es drei verschiedene Möglichkeiten. Eine Möglichkeit ist die Gemini App, die Chat GPT sehr ähnlich ist. Sie ist jedoch keine gute Option für Entwickler, da sie keine Anwendungen darauf aufbauen können. Die zweite Möglichkeit ist Die Verwendung von iStudio, wo du deinen eigenen API Schlüssel erhältst und dann alle in iStudio verfügbaren Modelle verwenden kannst. Nun gibt es noch eine dritte Option, nämlich Vertex Eye, die sich stärker an Unternehmen richtet. Sobald du genügend Nutzer hast, solltest du zu Vortex wechseln, um eine zuverlässigere Erfahrung und bessere Ratenbegrenzungen zu erhalten. Als Entwickler und Benutzer, der keine Programmiererkenntnisse hat, empfehle ich dir dringend mit iStudio zu beginnen, da es dir viel mehr Funktionen bietet, die in der Gemini App nicht verfügbar sind. In diesem Video schauen wir uns die verschiedenen verfügbaren Modelle wie man mit der Live API chattet, wie man mit Hilfe von WO Videos generiert und welche Starter Apps von Google entwickelt wurden, mit denen man mit seinen eigenen Anwendungen loslegen kann. Ich werde nun alle Funktionen durchgehen, die in iStudio verfügbar sind. Auf der linken Seite seht ihr zunächst die Liste der Modelle. Diese wurde inzwischen komplett überarbeitet, da die Modelle in verschiedene Kategorien eingeteilt wurden. Ihr seht also alle Gemini 2 Modelle. Es gibt immer noch Learn LM Pro Experimental. Das war eines ihrer Bildungsmodelle, wurde aber aus irgendeinem Grund nie hervorgehoben. Dann seht ihr die vorherige Generation der Gemini Modelle und sogar die Open Weight Modelle wie die Gemma 2 und Gemma 3 Familie sind hier aufgeführt. Wenn ihr nun ein Modell auswählt, seht ihr eine Reihe verschiedener Hyperparameter. Der erste ist die Temperatur. Aus irgendeinem Grund setzt Google diese standardmäßig immer auf 1. Dann gibt es einige erweiterte Einstellungen. Eine davon ist die maximale Ausgabelänge. Das hängt nun vom Modell ab. Wenn wir beispielsweise Gemini Flash mit Bildgenerierung wählen, ist die maximale Anzahl an Ausgabetoken auf 8000 Token begrenzt. Ich glaube, hier liegt ein Fehler vor. Bei der Bildgenerierung mit Gemini Flash werden als Ausgabeformate Text und Bilder aufgeführt. Bei den anderen wird kein Ausgabeformat aufgeführt. Ich denke, es wäre schön, wenn es das gäbe, vor allem, wenn die Modelle auch Audio generieren können. Dann gibt es eine Liste mit Tools, die Sie aktivieren oder deaktivieren können. Ich zeige Ihnen den Code, den iStudio für Sie generiert, sodass Sie direkt von diesem Chat Erlebnis zu einer Zusammenarbeit mit funktionierendem Code wechseln können. Es gibt auch Sicherheitseinstellungen für jedes der Modelle. Hier können Sie verschiedene Sicherheitseinstellungen aktivieren oder deaktivieren, obwohl ich festgestellt habe, dass es im Hintergrund noch einige andere Sicherheitseinstellungen zu geben scheint, die Sie nicht wirklich steuern können. Mal sehen. OK, sehen wir uns nun einige der anderen Optionen an. Sie können also Systemanweisungen festlegen, die das Verhalten des Modells steuern. Beachten Sie, dass Systemanweisungen nicht mit allen Modellen funktionieren. Wenn Sie beispielsweise Flash mit Bilderzeugung auswählen, unterstützt dieses Modell keine Systemanweisungen, das ursprüngliche Flash jedoch schon, was seltsam ist. Ich denke, selbst dieses Modell sollte Systemanweisungen unterstützen. Ich Ich sehe keinen Grund, warum es das nicht tun sollte. OK, Ich habe also 2.5 Pro ausgewählt. Wir werden sagen, dass wir immer in Form eines Gedichts antworten sollen, und wir werden ihm die uralte Frage stellen, was der Sinn des Lebens ist. OK, da dies eine Pro Version ist, handelt es sich um ein Argumentationsmodell. Sie werden also zuerst die interne Gedankenkette sehen und das Gute daran ist, dass es tatsächlich begonnen hat, verschiedene Strophen innerhalb der Gedankenkette zu schreiben, was für 2.5 Pro ziemlich cool ist. Sie können also hier tatsächlich sehen, wie die Antwort generiert wird. Eine der anderen coolen Funktionen, die iStudio ermöglicht, ist das Vergleichen verschiedener Modelle. Sie können also auf den Vergleichsmodus klicken. Lassen Sie mich tatsächlich einen neuen Chat starten, weil ich denke, dass dies hilfreich sein wird. So können wir zwei verschiedene Modelle vergleichen. Nehmen wir an, wir wählen 2.5 Pro und ich wähle Gemini Flash. OK, wir sehen also keine Systemanweisungen, daher wähle ich 2.5 Flash ohne Bilderzeugungsfunktionen. Dies ist eine sehr praktische Funktion, insbesondere wenn Sie herausfinden möchten, welches Modell die beste Leistung bietet. Nehmen wir also an, wir haben diese sehr komplexe Eingabeaufforderung, bei der wir einen Fernseher mit den Nummern erstellen möchten, der die verschiedenen Kanäle steuert. Diese sollen über verschiedene interessante Animationen usw. Verfügen. Richtig. Jetzt kann ich diese Eingabe auf Forderung für beide Modelle ausführen. Wenn mir beispielsweise Gemini Flash eine gute Antwort liefert, ist dies möglicherweise der Gewinner, da ich nicht unbedingt das stärkste Modell verwenden muss. Das ist normalerweise der Fall. Sie benötigen nicht das beste Modell für jede Anwendung oder jeden Anwendungsfall, wenn man bedenkt, dass dieses Modell etwa 20 Sekunden benötigt hat, um die gesamte Antwort zu generieren. Und hier hat 2.5 pro etwa 20 Sekunden zum Nachdenken benötigt und jetzt generiert es den Code. Richtig. Wir können uns also die Ergebnisse beider Modelle ansehen und dann entscheiden, welches Modell für eine bestimmte Anwendung eine gute Option ist. Die Vergleichsfunktion ist nicht auf iStudio beschränkt. Andere Modellanbieter wie OpenAI haben eine Vergleichsfunktion in ihrem Playground. Ich glaube sogar Cloud hat eine ähnliche Funktion. Es ist also eine wirklich gute Funktion und man kann immer noch sehen, dass 2.5 Pro den Code generiert. OK, interessanterweise hat es den Code generiert, aber es zeigt nicht an, wie lange es gedauert hat. Das ist wahrscheinlich ein weiterer Fehler, den Google beheben muss. OK, hier ist die Ausgabe von 2.5 Pro. Ich weiß, dass es dazu tatsächlich in der Lage ist und die Ausgabe ist ziemlich gut. Die Animationen sind für den Namen des angezeigten Kanals relevant und scheinen alle unsere Anweisungen zu befolgen. Hier ist nun Die Ausgabe von 2.5 Flash und wir sind auf einige Probleme gestoßen. Für diese spezielle Art von Eingabeaufforderung ist also 2.5 pro wahrscheinlich die beste Option. Ich zeige dir jetzt ein paar andere Funktionen, aber dafür verwenden wir diese Eingabeaufforderung. Worin besteht der Unterschied zwischen dem Modellkontextprotokoll und dem Agent zu Agent Protokoll? Wir verwenden wieder Version 2.5 Pro. Wenn Sie dies ausführen, kommen einige dieser Tools ins Spiel. Hier geht es meiner Meinung nach um die Generierung von Antworten. Ich glaube nicht, dass das Modell eine gute Antwort generieren wird, da diese nicht in den Trainingsdaten enthalten ist. Sie sehen hier tatsächlich ein perfektes Beispiel für Halluzinationen, da diese Modelle darauf trainiert sind, Antworten zu generieren. Selbst innerhalb der internen Denkkette wird im Grunde gesagt, worum es hier in erster Linie geht. Es geht darum, wie ein einzelnes Kimodell Informationen empfängt und versteht die, die es benötigt, um eine Antwort zu generieren. Richtig. Im Grunde genommen halluziniert es. Wir können nun so etwas wie eine Erdung mit der Google Suche aktivieren, um diese Halluzinationen zu reduzieren. Ich werde hier also einen weiteren Chat generieren. Wir werden die Erdung mit der Google Suche aktivieren und dies dann erneut ausführen. Das Schöne ist, dass alle hier ausgewählten Tools direkt in Python Code exportiert werden können. So können Sie alle Ihre Interaktionen, die Sie hier durchführen, in einem Google Colab Notebook verwenden. Richtig. Schauen wir uns zum Beispiel die interne Gedankenkette an. Hier steht nun die Aufschlüsselung des Prozesses. Richtig. Identifizieren Sie also das Kernkonzept. Es gibt also zwei Kernkonzepte, MCP und Agent zu Agent. 1. Wissensüberprü Verfüge ich über integriertes Wissen zu diesen spezifischen Protokollen, Dann steht hier Agent zu Agent. Das kommt mir im Zusammenhang mit Multi Agent Systemen oder möglicherweise Blockchain und Web bekannt vor. Richtig. Im Grunde genommen überprüft es also zuerst sein internes Wissen, entscheidet sich dann aber für die Verwendung dieses verfügbaren Google Suchtools. Hier sind die verschiedenen Suchanfragen, die es eingibt. Dann analysiert es seine Ergebnisse und Sie können sehen, dass die Antworten jetzt realitätsnäher sind. Wenn Sie persönlich neugierig sind, was der Unterschied zwischen diesen beiden Protokollen ist, erstelle ich ein Video dazu, abonnieren Sie also unbedingt den Kanal. Es ist aber gut, all diese Interaktionen hier zu haben. Wie übertragen Sie das von hier auf Ihre eigene Codebasis? Hier kommt die Schaltfläche Code abrufen ins Spiel. Wenn Sie hierauf klicken, haben Sie je nach Verwendungszweck mehrere Möglichkeiten. Sie können beispielsweise einfach einen einfachen REST API Aufruf an diesen Endpunkt erstellen. Oder wenn Sie, wie ich Python verwenden möchten, sehen Sie hier den gesamten Python Code, der basierend auf dieser Interaktion generiert wurde. Sie können auch TypeScript oder App Skripte verwenden. Ich wusste gar nicht, dass das eine Option war, aber wir werden uns den Python Code ansehen. Hier sehen Sie, dass alle Bibliotheken importiert wurden. Der Client wurde für uns erstellt. Basierend auf dem von uns ausgewählten Modell sehen Sie hier auch das Modell. Hier ist die ursprüngliche Benutzerfrage. Dies ist die interne Gedankenkette, die gerade offengelegt wird. Ich habe sie noch nie zuvor gesehen, aber der interessanteste Teil, den ich hervorheben wollte, war dieser hier. Dies ist im Grunde das Tool oder die Liste der Tools, die wir ausgewählt haben. Und jetzt wurden diese zum Client hinzugefügt. Richtig. Wenn ab diesem Zeitpunkt eine neue Benutzereingabe erfolgt, wird diese Liste der Tools verwendet. Das Schöne ist, dass Sie einfach direkt auf diese Schaltfläche zum Öffnen der Zusammenarbeit klicken können, um alles in einer Google Zusammenarbeit zu öffnen. Dies ist ein funktionierender Code. Sie müssen lediglich Ihren Google API Schlüssel angeben. Woher erhalten Sie den Google API Schlüssel? Das ist ganz einfach. Sie können hier auf API Schlüssel abrufen klicken. Sie können einfach einen weiteren API Schlüssel erstellen. Ich werde ihn benennen oder ihn bereits generieren. Keine Sorge, ich werde ihn gleich löschen. Sie müssen lediglich diesen API Schlüssel kopieren und hier einfügen. Sie können ihn auch als Umgebungsvariable festlegen und der Code sollte sofort funktionieren. Ich finde, dies ist eine ziemlich praktische Entwicklererfahrung, bei der Sie einfach die API Generierung mit einem Klick durchführen und dann den Code verwenden können, den iStudio für Sie generiert. Er scheint sofort zu funktionieren. OK. Ich werde es jetzt testen und sehen, ob es funktioniert. Testen wir es jetzt und sehen, ob es funktioniert. Jetzt installieren wir zunächst alles, was wir benötigen. Dann werden die Daten importiert und wir können dann alles ausführen, was wir hier haben. Ähnliches kannst du mit diesen anderen Tools machen. Leider kannst du in iStudio nicht mehrere Tools gleichzeitig aktivieren, aber ich denke, im Code kannst du mehrere dieser Tools aktivieren. Du kannst deine Eingabeaufforderungen auch teilen, nachdem du sie gespeichert hast. Klicke dazu einfach auf diese Schaltfläche zum Teilen und kopiere den Link. OK. Bevor wir uns die linke Seite ansehen, gibt es hier auch eine versteckte Eingabeaufforderungsgalerie. Wenn du darauf klickst, findest du hier einige Beispiel Eingabeaufforderungen, die du mit deinem Modell testen kannst. Zum Beispiel Bild zu Rezept und JSON. Hier wurde also ein Bild hinzugefügt und dann wurde das Modell aufgefordert, ein Rezept zu erstellen. Die Ausgabe sollte im JSON Format sein. Richtig. Du kannst also eine ganze Reihe dieser verschiedenen Eingabeaufforderungen auswählen oder sie als Referenz verwenden. Ich erstelle zum Beispiel einfach noch eine Mal sehen Kaffee bei einem virtuellen Barista bestellen. Das ist im Grunde eine generierte Konversation. Richtig. Sie können diese Eingabeaufforderungen also als Vorlage für die Erstellung ihrer eigenen Eingabeaufforderungen verwenden. OK. Hier gibt es auch ein Dashboard, das ihren API Schlüssel und meiner Meinung nach auch ihre Nutzung anzeigt. Ich glaube, ich habe die Nutzung für dieses Konto nicht aktiviert. Wenn Sie hierauf klicken, wird Ihnen auch die Nutzung angezeigt. Dies ist für eines meiner anderen Konten, das Ihnen im Grunde einen Teil der Nutzung anzeigt. Das Gute daran ist, dass Sie mehrere verschiedene API Schlüssel erstellen und die Nutzung einzeln verfolgen können. Im Moment verwende ich die kostenlose Version, aber Sie können ein Update oder Upgrade darauf durchführen. Das bietet Ihnen viel mehr Flexibilität hinsichtlich der Ratenbegrenzungen, auf die Sie zugreifen können. Als Entwickler könnte dies ein wirklich guter Ausgangspunkt sein. Sie müssen nicht unbedingt zu Vortexye wechseln, wenn Sie es nicht benötigen. Sie können einfach ein kostenpflichtiges Konto bei iStudio haben und haben dann Zugriff auf einige der neuesten Modelle. Das andere Modell, das häufig verwendet wird, ist Flash mit Bildgenerator. Ich kann beispielsweise einfach auf eine Geschichte über ein weißes Ziegenbaby generieren, das im Formular ein Abenteuer erlebt klicken. Richtig. Es kann also nicht nur Text generieren, sondern diesen auch mit Bildern verflechten. Hier sehen Sie, dass mehrere Bilder generiert werden. Ich denke, die Verwendung dieses Modells ist seit der Veröffentlichung von GPT-4 mit nativer Bildgenerierung. Zurückgegangen. Aber es gibt diese Möglichkeit, Bilder zu erstellen und diese Bilder mit einfachen Textaufforderungen zu bearbeiten, was ziemlich praktisch ist, da die Zeichenkonsistenz tatsächlich erhalten bleibt. Ich kann eines meiner Bilder hochladen und das Modell bitten, mit diesem Bild eine visuelle Geschichte für ein vierjähriges Kind zu erstellen. Ich habe beispielsweise dieses Bild hochgeladen und jetzt lädt es basierend darauf Geschichten hoch. Das ist also eine ziemlich nette und coole Funktion. Als nächstes schauen wir uns die Streaming Option an. Dies verwendet die Gemini Live API. Dafür gibt es eine spezielle Version des Gemini Flash Modells namens Es ist live. Sie können also entweder Audio und Text als Ausgabe oder nur Text als Ausgabe auswählen. OK. Und auch hier können Sie Apps auf Basis der Live API erstellen. Der Code ist hier verfügbar. Sie können also eine App erstellen oder hier interagieren und dann diesen Code verwenden, um Ihre eigene App auf Basis der LiveAPI zu erstellen. Diese verfügt sowohl über Texteingabe als auch über Audioingabe und kann Audio oder Textausgabe generieren. Es stehen verschiedene Stimmen zur Auswahl. Wir werden also einfach damit interagieren. Sie können nun direkt damit sprechen oder eine Webcam aktivieren. Im Grunde wird dies dann zu Project Astra. Oder Sie können Ihren Bildschirm teilen Außerdem gibt es Funktionen zum Ausführen von Funktionen, zum Aufrufen von Code und sogar eine Verbindung zur Google Suche. Alle Funktionen, die wir gesehen haben, sind hier verfügbar, was sie extrem leistungsstark macht. Mit diesen Funktionen oder Tools können Sie tatsächlich funktionierende Anwendungen erstellen. Zuerst werden wir also einfach damit sprechen. Ich werde dies aktivieren. Hey, kannst du mir etwas über das Wetter heute erzählen? Ich habe keinen Zugriff auf Echtzeit Wetterinformationen für heute. Soll ich versuchen, eine Wettervorhersage für dich abzurufen? Ja, bitte. Es tut mir leid, ich kann nicht auf Wettervorhersagen zugreifen. Kann ich Ihnen sonst noch irgendwie behilflich sein? Okay, also schauen wir mal. Ich glaube, ich muss einen neuen Chat starten, aber nehmen wir mal an, wir aktivieren die Erdung mit der Google Suche. Hey, kannst du mir etwas über die Wettervorhersage für heute erzählen? Okay, für San Diego ist heute der 15. April 2025 für die Zukunft bewölkter Himmel vorhergesagt, der im Laufe des Tages teilweise bewölkt werden soll. Die Höchsttemperatur wird bei 19 Grad Celsius liegen. Der Wind weht aus West Südwest mit 8 bis 16 Kilometern pro Stunde. Kann ich Ihnen sonst noch irgendwie behilflich sein? OK, Sie sehen, es ging ziemlich schnell. Es hat den Code ausgeführt, der im Grunde eine Google Suche durchführt. Es hat den Standort falsch verstanden, weil ich keine historischen Daten angegeben habe, aber ich denke, es schaut sich wahrscheinlich die IP Adresse an oder so, denn ich bin gerade in Los Angeles und San Diego ist ganz in der Nähe. Hier ist der generierte Code. Das scheint ein Boilerplate Code zu sein, der nicht direkt auf unserer aktuellen Interaktion basiert. Sie können diesen Code jedoch verwenden und in Ihren eigenen Anwendungen nutzen. Auf ähnliche Weise können Sie eine Websuche durchführen oder Ihren Bildschirm teilen. Okay, ich habe meinen Bildschirm geteilt. Hey, können Sie mir sagen, was Sie auf meinem Bildschirm sehen? Auf Ihrem Bildschirm sehe ich die Google Cloud Vertex I Platform. Möchten Sie, dass ich einen bestimmten Teil davon genauer beschreibe? Wie sehe ich die Preise? Ich sehe die Preisoption auf der linken Seite des Bildschirms. Soll ich sie mir ansehen? Ja, bitte. OK, die Preisoption befindet sich auf der linken Seite des Bildschirms. Sie zeigt eine Aufschlüsselung der Kosten für verschiedene Komponenten und Nutzungsstufen Soll ich die Einzelheiten erläutern? Können Sie mir den Startpreis für AutoML Modelle nennen? Der Startpreis für AutoML modelle für das Training, die Bereitstellung und die Vorhersage von Bilddaten beträgt pro Knotenstunde. Kann ich Ihnen in Bezug auf die Preise noch weiterhelfen? OK, das ist also ein richtig gutes Beispiel dafür, wie du deine Anwendungen hier testen kannst. Dann kannst du den gleichen Code nehmen und darauf aufbauen. Das neueste Feature ist die Videogenerierung. Hier haben wir nur Zugriff auf VO. Das ist das neueste Modell. Ich glaube, als kostenloser Nutzer erhältst du Credits. Wir werden es testen, aber für zahlende Nutzer kostet die Videogenerierung 35 Cent pro Sekunde. Denk also daran, dass es sehr schnell sehr teuer werden kann. Ich wähle also einfach die 5 Sekunden Videogenerierung aus. Du kannst 6 16 mal 9 oder 9 mal 6 Frames generieren, also vertikale oder horizontale Frames. Aber lass uns eine Ihrer Eingabeaufforderungen verwenden. Wir werden diese hier verwenden und es scheint, dass das Video sogar mit dem kostenlosen Account generiert wird, was ziemlich cool ist. Zumindest bekommst du so eine Vorstellung davon, wie die Videogenerierung aussehen wird. OK, es hat also etwa dreiig Sekunden gedauert, dieses coole kleine Video zu generieren. Richtig. Wieder einmal ist es ziemlich erstaunlich, dass Google so etwas wie V kostenlos zur Verfügung stellt, zumindest ein paar Generationen lang. Das ist schon ziemlich erstaunlich. Nun gibt es einige Starter Apps innerhalb der Plattform. Hier ist beispielsweise eine für räumliches Verständnis. Hier können Sie Elemente auswählen. Dies ist nur ein Beispiel dafür, wie Sie auf Live aufbauen können. Ich glaube, hier ist eine für die Videoanalyse. Sie laden einfach ein Video hoch und es verwendet die multimodalen Fähigkeiten von Gemini, um Videos für Sie zu analysieren. Oder? Ich glaube, das hier ist ein Karten Explorer. Nehmen wir an, es geht direkt zu einem antiken Ort auf der Karte und liefert Ihnen dann verschiedene Details. Richtig. Dies sind also nur Beispiele für verschiedene Dinge, die sie mit der Gemini API in iStudio tun können. Okay. Es gibt auch ein Dashboard, das Ihnen im Grunde alle Ihre API Schlüssel anzeigt. Wir haben uns einige der Nutzungsdaten angesehen. Es gibt auch eine API Tarifabrechnung. Sie gibt Ihnen einen Überblick über die verschiedenen Preise. Für Oflash können Sie beispielsweise 15 Anfragen pro Minute haben, glaube ich. So erhalten Sie einen Überblick über die voraussichtliche Preisgestaltung. Es ist ganz praktisch, diese Informationen sofort verfügbar zu haben. Dies war jedoch nur ein kurzer Überblick über die verschiedenen Funktionen in diesem neu gestalteten KI Studio. Ich denke, es ist ein wirklich guter Ort, um mit Gemini Modellen zu experimentieren. Was mir daran wirklich gut gefällt, ist, dass Sie den Code direkt von hier übernehmen und in einem Google Colab oder einer Idee Ihrer Wahl ausführen können. Das macht es wirklich nahtlos und reibungslos. Lassen Sie mich wissen, was Sie von dieser neuen Benutzeroberfläche und dem neuen Nutzererlebnis des Key Studio Teams halten. Das war es für heute. Ich hoffe, Sie fanden dieses Video hilfreich. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.