Gemini 2.0 Flash in Action: How Multi-Modal AI is Changing Everything

Vale, Google acaba de lanzar Gemini 2.0, que es multimodal y de naturaleza agente. Desde el principio, puede pensar, planificar, recordar y tomar medidas. La primera versión de esta nueva familia es Flash Experimental, que es uno de sus modelos más pequeños, pero tiene un rendimiento similar al anterior Gemini 1.5 Pro. De hecho, supera la versión anterior de Pro en varios puntos de referencia diferentes. En el punto de referencia de barrido, parece ser mejor que Cloud 3.5 Sonnet en lo que respecta a la codificación, aunque tendremos que verlo. Ahora bien, este es realmente emocionante porque es multimodelo por naturaleza. Tiene generación de imágenes nativa, texto a voz nativo y uso de herramientas nativas. Y veremos algunos ejemplos realmente impresionantes más adelante en el vídeo. Ahora bien, aparte del modelo, también lanzaron un montón de otras cosas que probablemente acabaron con algunas startups. Las veremos en un momento. Pero este modelo es de naturaleza experimental, así que creo que deberíamos esperar un lanzamiento completo del modelo pronto. En cuanto a las entradas, puede procesar texto, imágenes, vídeo y audio. En cuanto a la salida, puede generar texto, imágenes y voz, aunque la generación de imágenes está limitada solo a usuarios de confianza. En este momento. Tiene una ventana de contexto de un minuto con una salida de 8.000 tokens y la fecha límite es bastante reciente. Lo mejor de todo es que puedes empezar a utilizarlo de inmediato en Google AI Studio de forma totalmente gratuita. También han lanzado una API multimodelo en directo a través de la cual puedes darle acceso a la pantalla de tu ordenador, interactuar con el modelo. Veremos un ejemplo más adelante en el video. Ahora, Los modelos Gemini 2.0 están impulsando su proyecto Astra de Google, que es un sistema multimodelo muy similar a GPD-40. Además de eso, también han anunciado otros dos proyectos experimentales. Uno de ellos es el Proyecto Mariner, un agente que te ayuda a realizar tareas complejas en tu sistema. Por tanto, varias empresas emergentes diferentes están creando sistemas agentic que residen en tu navegador. Este es un ejemplo de un sistema en forma de extensión de Google Chrome. Aquí tienes que proporcionar el nombre de algunas empresas. Luego le pides a Project Mariner que memorice esta lista, que busque los sitios web de las empresas y que averigüe los datos de contacto de cada una de ellas. Este es el mensaje que te damos. Luego realizará una búsqueda en Google de cada una de estas empresas y extraerá la información relevante. Es un ejemplo perfecto de un sistema agentic que recibe información del usuario que realiza esas acciones en un navegador que es visible para el usuario, y el usuario puede ver todas las acciones que realiza el agente. Project Mariner aún no está ampliamente disponible, pero funciona con Gemini 2.0. Otro ejemplo es Project Joules. Es muy similar en naturaleza a Devon, que actualmente está disponible por 500 dólares al mes por puesto, pero en esencia, se trata de un agente de codificación que te ayudará a resolver diferentes problemas de codificación. Vale, a continuación veremos algunas de las capacidades de Gemini 2.0, especialmente a través de su API multimodelo en directo. Puedes crear aplicaciones muy similares al proyecto Astra, donde puede interactuar con el entorno a través de esta interfaz web. Puedes hablar con Gemini de forma muy similar al modo de voz avanzado de GBD, incluso puedes interrumpirlo si quieres, o puedes mostrar tu cámara web a través de tu cámara web, puede observar tu entorno e interactuar con él, o puedes compartir tu pantalla y luego al observarla, podrá resolver problemas por ti si quieres, ¿Verdad? Así que hay cosas realmente interesantes que puedes hacer. Voy a hacer una demostración de un par de ellas. Ahora tienes varias voces diferentes entre las que puedes elegir. Y como he dicho, puedes interrumpir cuando estés manteniendo una conversación. Así que vamos a seleccionar el formato de salida para que sea audio, y voy a seleccionar el predeterminado. Ahora mismo solo está disponible GMI 2.0 Flash Experimental. También puedes habilitar algunas de estas otras herramientas, como la ejecución de código, la llamada a funciones o utilizar la búsqueda de Google cuando genere respuestas. Pero voy a crear videos más detallados sobre esto. Y también te mostraré cómo puedes interactuar con esta API multimodelo en un cuaderno de colaboración de Google más adelante en el video. Pero primero comencemos hablando con Gemini. Hola, ¿Cómo estás hoy?

Estoy bien, gracias por preguntar. ¿Y tú? Estoy muy bien. ¿Puedes hablarme de ti?

Claro. Soy un gran modelo de lenguaje entrenado por Google. Estoy diseñado para ser conversacional e informativo.

¿Algunas de tus capacidades?

Puedo generar texto similar al humano, traducir idiomas, escribir diferentes tipos de contenido creativo y responder a tus preguntas de manera informativa. ¿Hay algo específico sobre lo que te gustaría saber más? Signo de apertura de interrogación.

¿Puedes contarme un chiste gracioso en forma de poema?

Vale, Aquí tienes un chiste en forma de poema. ¿Por qué se cayó la bicicleta? Porque estaba demasiado cansada.

Vale, como puedes ver, puedes interrumpirla. Muy similar al modo avanzado de GBD 4. Así que han hecho un muy buen trabajo con Gemini. Ahora hay una versión que está disponible para evaluadores de confianza que también puede generar imágenes y editarlas mediante indicaciones de texto. Todavía no tengo acceso a eso, pero cuando lo tenga, les mostraré una demostración. Si van a la transmisión en tiempo real. Esta es la API multimodelo en vivo. Vale, a continuación les mostraré un ejemplo de cómo funciona esta pantalla compartida. En este caso, compartiré la pantalla y mostraré su propia interfaz. Veamos qué puede decirnos. Vale, ¿Pueden decirme qué están viendo ahora mismo?

Claro, puedo decirles lo que veo. Veo una ventana del navegador web con un tema oscuro que muestra un sitio web llamado Estudio Google. Com. La página parece ser para una función de transmisión en tiempo real y tiene un campo de entrada de chat en la parte inferior. También hay ajustes y opciones en el lado derecho de la página y un canal de video en la parte inferior derecha.

Vale, ¿Qué crees que es esto?

Según lo que veo, parece ser una herramienta o interfaz para una aplicación de transmisión en tiempo real, probablemente relacionada con la guía. Dado el A Studio en la URL, es probable que permita a los usuarios interactuar con un modelo de IA a través de audio, texto o video. ¿Te parece bien? Más o menos. ¿Cómo interactuaría con esta interfaz? ¿Puedes darme algunos consejos? Por supuesto. Puedes interactuar con la interfaz de varias maneras. Puedes escribir en el campo de entrada del chat en la parte inferior, usar usar el botón del micrófono junto a la entrada para hablar, o usar la transmisión de vídeo en la parte inferior derecha. También es posible que puedas ajustar la configuración a la derecha de la pantalla, como el modelo o la voz utilizados. ¿Es eso lo que buscabas?

Vale, como puedes ver, es capaz de mirar mi pantalla, entender diferentes elementos, y luego puedes hacer deducciones en función de lo que ve. Ahora bien, Google también proporciona algunas aplicaciones de ejemplo que están disponibles en su repositorio de GitHub, con las que puedes empezar a experimentar. Así que echemos un vistazo a esta comprensión especial. El código para esto está disponible en GitHub, ¿Cierto? Tienen algunos ejemplos. Vamos a ver algunos. Aquí se muestra que seleccionas una imagen y luego puedes proporcionar un mensaje. El mensaje es Muéstrame la posición de los elementos. Esto puede entender imágenes y luego crear cuadros de enlace alrededor de los objetos. Ahora puede hacer cuadros de enlace D puntos o cuadros de enlace D. Empezaremos con cuadros de enlace D mil aquí está el mensaje que envió, y puedes ver que identificó diferentes objetos. Está el zorro, está el arndollo, y veamos si realmente puede hacer un razonamiento basado en las imágenes que ve. Muy bien, de acuerdo. Mi mensaje es Muéstrame la posición del objeto con la sombra más grande. Primero tiene que averiguar cuál de las sombras es la más grande y luego decirme la posición del objeto. Veamos si realmente puede hacer eso. Entonces el mensaje que envía es Detecta el objeto con la sombra más grande con no más de 20 elementos, genera una lista JSON, y ahora puedes ver que de estos dos, esta es la sombra más grande, aunque quería que no me dijera la sombra más grande, sino el objeto en sí. ¿Vale? Así que modifiqué un poco mi mensaje y ahora digo que me muestre la posición del objeto que está creando la sombra más grande. Y puedes ver que ahora está identificando al zorro en lugar del zorro, lo cual es bastante bueno, porque primero tiene que averiguar cuál es la sombra más clara y luego averiguar qué objeto está creando esa sombra. Muy inteligente. Ahora aquí hay otro Detecta los cuadros delimitadores D de los elementos. Aquí detectó el cuadro delimitador D del zorro, incluso el marco de la ventana y la ventana. Esto es bastante bueno. Creo que hay muchas aplicaciones útiles que puedes crear sobre la base de estas capacidades multimodelo, ¿Vale? También puedes subir videos y podrá analizarlos por ti. Pero aquí hay otra divertida, que es el explorador de mapas utiliza el modelo Gemini 2.0 para interactuar con un mapa del mundo real. Digamos que le pedimos que me lleve algún lugar antiguo. Veamos, nos llevó a Leth Ape, que está en Turquía. Es un yacimiento arqueológico que se remonta al período preneolítico, lo que lo convierte en la estructura monumental más antigua conocida construida por humanos, ¿Verdad? Muy interesante, pero déjenme preguntarle algo más específico. Muy bien, voy a preguntarle qué es Saqqara y cuál es su importancia, y veamos qué me dice. Cargó el mapa de Saqqara. Esta es la ubicación exacta y es una tumba o una serie de tumbas que fueron creadas por los egipcios. Es un antiguo y vasto cementerio que sirve como necrópolis para la antigua capital egipcia de Menfis. Bien, esto es bastante bueno. Puedes combinar las capacidades multimodales de Gemini 2.0 para crear estas aplicaciones. En esta última sección, quiero mostrarles un ejemplo de código de cómo pueden interactuar con Gemini 2.0 a través de la API y su naturaleza multimodelo. Por lo tanto, podrá comprender imágenes, audios y videos. Pero vamos a utilizar un ejemplo rápido que Google ha proporcionado. Y en los videos posteriores les mostraré ejemplos más detallados de cómo pueden crear aplicaciones con esta nueva API. Entonces, lo primero y más importante, necesitamos instalar el paquete de Inteligencia Artificial Generativa de Google. Pueden obtener su clave de API gratuita de Google AI Studio, así que la estableceremos como una variable de entorno. Luego crearemos nuestro cliente. Después de eso, deben indicarle qué modelo usar, y usaremos específicamente Gemini 2.0 Flash Experimental. Ahora, deben proporcionar una instrucción del sistema. Esto es opcional, pero como queremos detectar varios objetos en la imagen, es mejor proporcionarla. Y la instrucción del sistema devolver cuadros delimitadores como una matriz JSON con etiquetas. Nunca devuelvan máscaras ni cercas de código límite a 25 objetos. Puede hacer más que eso, pero creo que 25 es suficiente. Si un objeto está presente varias veces, nómbralo según sus características únicas y Y esas características son color, tamaño, posición, características únicas, etc. Entonces definimos los ajustes de seguridad. Puedes ignorarlos por completo si quieres. Después de eso, importamos todos los paquetes diferentes, específicamente los paquetes que vamos a utilizar para procesar imágenes y leer y escribir esas imágenes. Ahora, aquí tienes algunas imágenes de ejemplo que están disponibles. Puedes descargarlas y luego empezar a interactuar con ellas. Hay una serie de cupcakes en esta imagen. Y ahora el mensaje es detectar las cajas de unión D de cupcakes con la etiqueta como cobertura descripción. Vale, así que proporcionamos eso. Luego leemos la imagen y cambiamos el tamaño de la imagen para poder procesarla. Luego pasamos ese mensaje junto con la imagen a nuestro modelo, que es Gemini 2.0 en este caso, junto con las configuraciones, donde la instrucción del sistema más los ajustes de temperatura y seguridad, y la salida es un JSON con una serie de cuadros de límites. Estas son las coordenadas de los cuadros delimitadores más la etiqueta correspondiente para cada uno de los cupcakes que se generaron. Si los representamos gráficamente, puedes ver que no solo identifica cada cupcake que está dentro de esta imagen, sino que también dibuja este cuadro delimitador y coloca la etiqueta encima. Y como solo pedimos cupcakes específicamente, ignoró por completo el resto de cosas del fondo, lo cual es bastante sorprendente. No solo eso, sino que también puede razonar dentro de las imágenes. Aquí tienes un ejemplo. Muéstrame la posición de los calcetines con caras. En este caso, proporcionamos una imagen de calcetines pequeños. Ahora bien, estas dos imágenes tienen caras. Son unos gatitos muy monos. Y como solo pedimos la posición de esos calcetines con cara, devolvió dos posiciones diferentes, lo cual es bastante bueno. Por lo tanto, ignoró por completo las demás porque no se ajustan a los criterios. Ahora, aquí tienes otra divertida. Detecta los alimentos con los caracteres japoneses más la traducción al inglés en las etiquetas. Aquí tienes diferentes alimentos japoneses y los detectó. Y también añadió la traducción al inglés para cada uno de ellos. Ahora les mostré este ejemplo de su capacidad de razonamiento. Aquí tienen una instrucción. Dibujen un cuadrado alrededor de la sombra del zorro. Primero tiene que identificar dónde está el zorro. Luego tiene que averiguar qué sombra crea. Y luego dibuja un cuadro delimitador solo alrededor de la sombra del zorro e ignora por completo las otras sombras, lo cual es bastante bueno. Y seguimos con las capacidades de razonamiento. Aquí tienen una imagen de un derrame, pero aquí la instrucción Dime cómo limpiar mi mesa, con una explicación como etiqueta. Usen la tela rosa para limpiar la mesa. Limpie el derrame en la mesa. Correcto. Entonces miran esta imagen y luego dicen que está bien. Hay una tela o servilleta rosa y hay un derrame. Entonces pueden usar esto para limpiar el derrame. Cosas muy interesantes. Y pueden hacer esto en vivo a través de su API multimodal en vivo también en un video. Ahora, también tiene la capacidad de generar cuadros delimitadores en D, Esto solo muestra un ejemplo de cuadros de unión en D a partir de esa imagen plana en D que es capaz de extraer. Vale, bueno, este ha sido un vistazo rápido a algunas de las capacidades. Ahora voy a crear videos posteriores sobre las pruebas del modelo en sí tanto en sus capacidades de codificación, porque según los puntos de referencia parece estar a la par con la tela, lo cual es una hazaña impresionante si realmente es cierto. En segundo lugar, la API multimodal en directo es realmente muy potente, ya que se pueden crear aplicaciones del mundo realmente, especialmente algunas de las demostraciones que vimos en la versión anterior de GPD 40 con las capacidades multimodelo. Creo que ahora será posible recrearlas con la Memoria Flash Gemini 2.0. Y esta es también la versión experimental de la memoria flash más pequeña, así que será increíble ver cómo es la versión Pro completa o la versión avanzada. Creo que abre muchas posibilidades y parece que Google ha hecho un gran trabajo con ella. Ahora de nuevo tendremos que probar el modelo para ver lo bueno que es en términos de sus capacidades, pero a juzgar por las demostraciones y algunos de los ejemplos con los que se puede interactuar, definitivamente parece estar muy por encima de todo lo que hemos visto de Google hasta ahora. Bueno, si queréis que experimente con algo específico, decídmelo, dejadlo en la sección de comentarios de aquí abajo. Iré creando videos posteriores con más tutoriales, y si encontráis contenido como este útil, aseguraos de suscribiros al canal. Gracias por ver el vídeo y como siempre, nos vemos en el próximo.