Nueva REVOLUCIÓN... Tooncrafter, IA de Interpolación generativa GRATIS e ILIMITADO

La creación de vídeos por inteligencia artificial mejora por días, con muchas novedades en cuanto a nuevas funcionalidades por parte de otras plataformas, pero ninguna se centró en el modelo para mejorar el resultado final. Pues sí que la hay, y ahora podemos pasar de estos vídeos de anteriores modelos a este otro girando su cabeza, o este vídeo con los anteriores modelos en donde tenemos un coche que está girando, pero que si lo comparamos con este otro vídeo mejora de forma significativa gracias a un nuevo modelo de inteligencia artificial que fue lanzado hace tan solo unos días, pero que revolucionará la generación de animaciones por inteligencia artificial, consiguiendo buenos resultados en segundos, como este tren en la noche, este chico corriendo, o esta otra chica de aquí. Y lo mejor de todo es un modelo abierto que podrás utilizar de una forma totalmente gratuita e ilimitada. ¿Suena bien? Pues veamos cuál es. El nuevo modelo de inteligencia artificial que estaremos viendo nos va a permitir convertir dos imágenes como la de este sello en un vídeo con movimientos perfectos, teniendo en cuenta detalles como las sombras, y en general sin perder ninguna coherencia. Y esto es posible gracias a un nuevo modelo de interpolación llamado Toon Crafter, que es este modelo de aquí. Antes de continuar, te recuerdo que todos los enlaces e información lo vas a tener abajo en la descripción. Y una vez cliques, aterrizarás a esta página de aquí, desde donde podrás encontrar toda la información de este modelo, ya que si hacemos scroll para abajo vamos a poder ver diferentes ejemplos de lo bien que funciona este nuevo modelo. De aquí, como puedes estar viendo, y en cada uno de estos ejemplos tenemos 2 imágenes para poder generar un vídeo, ya que este modelo va a necesitar una primera imagen que será como empiece el vídeo, y la segunda corresponderá al último fotograma del vídeo. Y si no sabes qué es un fotograma, básicamente son todas las fotos que componen un vídeo. Así que teniendo esto en cuenta y volviendo a Toon Crafter, pues podemos ver que estamos ante uno de los mejores modelos que crea por inteligencia artificial generativa todos los fotogramas que habría entremedio desde la primera imagen hasta la última, teniendo muchísimos detalles como el movimiento del pelo aquí, que estaría cerrando los ojos, o incluso estos pájaros de aquí, al tenerlo en diferente posición en estas dos imágenes, pues también tendríamos este pequeño movimiento para conseguir que el vídeo pase de la imagen 1 y termine con la imagen segunda. Aquí un poco más abajo tenemos un ejemplo aún más complicado, y en este caso tenemos dos imágenes muy similares. Sin embargo, en la primera tenemos a este hombre un poco más cerca de esta luz, y además estas luces se ven que están cambiando un poco, algo que ayuda a esta inteligencia artificial a poder interpretar que las luces podrían tener este movimiento y el hombre que se va acercando este otro de aquí, haciendo posible que estemos ante un vídeo que tenga una coherencia que sea difícil de detectar si está creado por inteligencia artificial. Aquí tenemos otro ejemplo de dos imágenes que, siendo la misma imagen una está más recortada que otra, haciendo este efecto de acercamiento que además no deforma nada ni pierde la perspectiva cuando le hace esta animación de aquí. Aquí tenemos otro ejemplo donde aparece esta primera imagen con el pelo que parece estar en movimiento con el viento. Si lo comparamos con esa segunda imagen de aquí, que al subirla a este modelo pues tendríamos este vídeo, que realmente los movimientos están geniales. Sí que es cierto que si nos fijamos, por ejemplo, en la parte de la horquilla, pues esta se deforma un poco, pero en general el resultado no está nada mal. De hecho, hay uno de los vídeos que me llamó bastante la atención, ya que comparándolo con Sora tiene hasta un resultado un poco más natural. El ejemplo es esta primera imagen de este chico con una chaqueta roja y esta segunda imagen de aquí en donde se aprecia que se va alejando porque estará andando o corriendo. Esto, la inteligencia artificial al interpretarlo nos genera este vídeo de aquí, que como puedes ver tiene en cuenta perfectamente cómo cambia la perspectiva y en general la física de la pisada de este personaje para desplazarse a través de este suelo. Y esto parece algo muy lógico, pero si nos vamos al modelo de artificial más esperado, como no podía ser de otra forma siendo Sora. En este ejemplo de aquí, de esta chica que está andando por Tokio, si nos fijamos en los pies, pues podemos ver incluso que tiene un pequeño deslizamiento, haciendo que este no sea tan natural como el modelo que estamos viendo hoy. Y más allá de estos otros ejemplos, si hacemos un poquito scroll para abajo, pues nos dejan bastante claro su enfoque de que el resultado sea más óptimo, como esta comparativa que habrás visto en la introducción del vídeo, al igual que otras comparativas que vas a tener en esta página, que te voy a dejar el enlace, desde donde podemos encontrar un modelo que está bastante por encima de lo que hemos visto hasta ahora. De hecho, más allá de poder pasar de 2 imágenes a un vídeo, también va a tener otros aplicativos muy interesantes tanto para principiantes como personas profesionales en la animación, ya que si hacemos scroll para abajo vamos a poder ver que vamos a poder animar diferentes dibujos aunque estos no estén terminados. Pero sobre todo, si nos vamos para abajo, vamos a poder ver otros casos de uso más concretos, como por ejemplo este input aquí en donde podemos darle simplemente una imagen coloreada pero que la animación esté sin colorear, y al juntarlas pues automáticamente tendríamos esta esta animación terminada con el color de la imagen que hemos puesto al principio. Y como ese ejemplo, también tenemos estos otros 4 que, como puedes ver, pues lo hace realmente bien. Y como esto, pues también podríamos conseguir este resultado introduciéndole nuevamente 2 imágenes de referencia, un movimiento de sketch, para posteriormente tener la animación final. Aunque de aquí hay que tener muy en cuenta algunas limitaciones de esta plataforma, ya que si nos vamos abajo del todo vamos a poder ver que el resultado puede fallar. Y esto sobre todo se debe si la primera imagen es distinta a la segunda. De hecho, en este ejemplo se ve bien claro donde tenemos una imagen en donde aparece una persona de espaldas, pero en la siguiente aparece una persona totalmente distinta con otra vestimenta y de frente, haciendo que el resultado, al ser tan distinto, pues no tengamos esos movimientos que realmente buscamos con este modelo. Una vez conocemos las capacidades de este modelo, estamos listos para ponerlo a prueba. Este modelo podremos probarlo como queramos, ya que se trata de un modelo open source que podremos utilizar sin restricciones. De hecho, podremos instalarla en nuestro propio ordenador o incluso utilizarla desde la versión web. Yo lo estaré utilizando desde la web, así que volviendo Crafter, tienes que tener en cuenta que desde aquí vas a tener el código de GitHub desde donde lo podrías descargar y ejecutar en local de forma ilimitada. Aunque si volvemos para atrás, también vamos a tener la opción de utilizar Hugging Face. Así que si le doy un clic, vamos a aterrizar a esta plataforma en donde tenemos instalado el modelo y además podemos utilizar de una forma gratuita. Sí que es cierto que tendremos un límite diario, ya que al ejecutarlo en un entorno de cloud, esta plataforma no te dejaría hacerlo de forma ilimitada, aunque el límite es bastante grande. Para utilizarla es muy sencillo, pero antes de hacerlo, desde aquí vas a poder ver diferentes ejemplos que anteriormente habíamos visto, como la de este sello de aquí, en donde podemos ver exactamente los parámetros que había colocado y cuál ha sido el resultado final. U otros ejemplos como este hombre andando, en donde podemos ver que el prompt es muy sencillo, simplemente escribiendo hombre andando y habiendo mantenido estos ajustes. De aquí lo que podremos cambiar será el prompt descriptivo del vídeo que queramos crear. Aquí tenemos el apartado del seed, que consiste en la consistencia que vamos a tener en los diferentes vídeos y y de hecho este nos puede ayudar a crear hasta un vídeo más largo, aunque de esto ya estuve hablando con todo detalle en este otro vídeo de aquí. Más allá de estos parámetros, también tenemos esto de aquí que nos permite seleccionar qué tan creativos dejamos a la inteligencia artificial que sea. Siendo un valor más alto, con un máximo de 15, haríamos que se ciña exactamente a los inputs que le hayamos dado. Y si le damos un valor mínimo, que sería el 1, dejaríamos que la inteligencia artificial sea más creativa, pero probablemente se aleje más de las diferentes imágenes que hayas incluido o prompt que hayas seleccionado. De aquí también tienes que tener en cuenta el apartado del Sampling Step. Estos básicamente son los diferentes pasos hasta conseguir el resultado final. Si añadimos más, pues el resultado será mejor, pero tardará más en generar el resultado. Y si le damos un valor más pequeñito, hará que tenga menos pasos, pero que el resultado sea menos fluido. De hecho, yo ya he generado otros 4 vídeos cambiándole estos parámetros, y para que puedas ver su diferencia, te lo dejo por aquí. Como última opción, la hemos nombrado antes y ya lo conoces, son los fotogramas. Aquí lo que estamos diciendo es que el vídeo tenga unas 10 imágenes, aunque realmente le podríamos poner aún más imágenes para que el resultado sea más suave. Yo, sin embargo, lo voy a dejar por los valores por defecto. Y para ponerlo realmente a prueba, voy a utilizar diferentes imágenes que nos dan de esta plataforma. Así que para hacer esto, quitaríamos las que ya estén dándole a la X, y desde aquí, si le damos un clic, vamos a poder subir nuestras imágenes para convertirla al formato vídeo. Yo en este aspecto me he preparado esta primera imagen de un hombre sujetando una taza de café en un supermercado, y esta segunda imagen en donde cambiaría su mirada, y en definitiva en donde habría girado su cuerpo entero. Así que selecciono la primera aquí, y como segundo input seleccionaría la segunda imagen. Ahora cambiaríamos el prompt a un acorde con lo que queramos conseguir. En este aspecto, como yo he visto que los prompts que utilizan en los ejemplos son bastante escuetos, no lo voy a describir mucho. Así que simplemente le he puesto hombre está en el supermercado sujetando un café, y para generarlo simplemente le daría al botón de Generate. Perfecto. Y después de aproximadamente 20 segundos ya tendría este resultado de aquí, bastante mejorable, que se vería así. Y aquí realmente no nos ha hecho un buen resultado, y esto es porque tienes que tener muy en cuenta que los parámetros estén bien ajustados. Aquí yo no me he dado cuenta y en el Sampling Step simplemente le he puesto 1, así que yo lo voy a poner en 50, tal y como estaba antes en los anteriores ejemplos que hemos visto. Y directamente acabo de clicar para que se me peguen nuevamente los otros valores que me faltaban. Así que aquí acabo de volver a coger las 2 imágenes, pero con los valores predeterminados como nos muestran en los ejemplos que hemos visto anteriormente. Así que le voy a dar a Generate. Ya se estaría por aquí procesando. Y ahora sí, después de aproximadamente 60 segundos, ya tenemos por aquí este otro resultado, que como puedes ver, pues está bastante mejor haciendo este movimiento bastante natural. Y además aquí cerraría los ojos y lo volvería a abrir. Vale, esta imagen quizás es un poco sencilla, así que vamos a ponerle otra un poco más compleja. Así que cierro por aquí y ahora voy a seleccionar esta otra imagen en donde tiene ese mismo vaso y una cesta, pero como segunda imagen tenemos este movimiento que es un poco más agresivo, en donde eleva la cesta con una mano y con la otra me metería ese vaso. Así que yo por aquí lo acabo de añadir, le he descrito esta acción, y cuando le dé a generar, pues ya tendremos por aquí estos resultados en donde haría este movimiento, que la verdad es que no está nada mal. Aunque sí que es cierto que por la parte de la mitad la mano se está distorsionando un poco con el vaso. De aquí, una de las cosas que tienen en común las dos imágenes que acabamos de probar es que el movimiento está muy claro, ya que tenemos de forma estática toda esta zona de aquí y esta chica de aquí, y tan solo tendríamos en movimiento a este hombre de aquí, ya que salvo este, el resto estaría igual. Y esto es algo clave para el uso de esta plataforma, ya que si las imágenes que usas no tienen coherencia, no funcionaría de forma correcta. De hecho, lo vamos a ver, ya que si yo cierro aquí y borro esta también, voy a estar utilizando ahora a este perrito en la playa como primera imagen y este segundo perrito en la segunda. Parece que no son muy distintos, pero realmente no tiene nada de coherencia, ya que por aquí el mar estaría en la parte derecha y el perro no tendría nada de ropa, y en la primera imagen pues sí que tiene algo de ropa, está más cerca del mar y además lo tiene al lado izquierdo. Así que subo ambas, le doy esta pequeña descripción, y cuando le dé a generar, ya lo tendría por aquí generado, habiendo obtenido este resultado. Que si lo vemos de nuevo, ¿qué pasaría de esta imagen a esta otra? Ya que esta plataforma está intentando buscar los parámetros para hacer que los movimientos sean lo más realistas posible. De hecho, en ambas imágenes tenemos un buen movimiento, aunque evidentemente la transición serían dos vídeos totalmente distintos. Esto también lo podríamos hacer incluso con dibujos que tengamos a mano a través de nuestros dispositivos, o incluso a papel y sacándole posteriormente una foto. De hecho, yo me voy a venir a la plataforma de AutoDraw para hacer una prueba muy rápida. Para ello le voy a dar a empezar a dibujar, voy a seleccionar un círculo como si fuera una cara, y ahora aquí voy a poner una sonrisa con dos ojos por aquí. Sé que el dibujo no es lo mío. Le añado las cejas y una nariz. Y ahora, clicando en seleccionar, voy a coger este dibujo, copio con un Ctrl+C, y clicando fuera pego con un Ctrl+V. Y ahora esta la voy a modificar un poco poniendo esto justo al contrario, como si estuviese triste, al igual que sus cejas. Y con estas dos imágenes le acabo de sacar dos capturas para volver a la plataforma y añadirlas por aquí. Le añado una pequeña descripción, le doy a generar, y ya tendremos por aquí este resultado, que la verdad que está genial, ya que de inicio a fin hace un movimiento bastante natural, haciendo que la animación sea bastante correcta. De aquí, algo que has podido apreciar es que los vídeos que nos genera a través de esta plataforma son de tan solo 2 segundos, aunque ahora te voy a mostrar una forma para que puedas hacer vídeos aún más largos, ya que si hay algo que tiene bueno este modelo es que es abierto, permitiendo a otras plataformas que utilicen este modelo, pudiendo ver otras funcionalidades que hayan puesto otras plataformas, pero basándose en tu Toon Crafter. Para ello te voy a dejar también en la descripción un enlace de Replicate en donde está utilizando el modelo de Toon Crafter, pero añadiéndole una funcionalidad distinta, ya que desde aquí, más allá de poder elegir 2 imágenes, si hacemos scroll para abajo vamos a poder ver que tenemos aquí una primera imagen, una segunda por aquí en esta otra pose, y otra tercera imagen que termina mirando en esta dirección. Y si nos vamos arriba, vamos a ver este vídeo en donde sigue todas esas poses, y además tenemos una duración de 4 segundos, siendo el doble de lo que estamos consiguiendo a través de la otra plataforma de Hugging Face. Además de esto, si hacemos scroll para abajo, vas a poder ver que más allá de 3 imágenes vamos a poder añadir hasta un máximo de 10, haciendo que cada clip pueda tener una duración superior a 10 segundos. De hecho, esto también lo podemos probar. Así que limpio esta imagen, esta otra, y en esta primera clicamos a esta nube para subir una. Y clicando desde aquí yo voy a seleccionar nuevamente estas 2 imágenes, aunque ahora lo que voy a hacer va a ser seleccionarla 4 veces. Así que para ello subo la primera, y del mismo modo he subido la segunda. Posteriormente nuevamente la primera, y como cuarta imagen nuevamente la segunda. Ahora desde arriba le voy a poder añadir la misma descripción, y además desde aquí también le podemos añadir prompts negativos, que es lo que no queremos que aparezca en este vídeo. Yo sin embargo lo voy a estar dejando vacío, y como el resto de los parámetros los voy a dejar igual, para crear el vídeo le daría Run. Por este lado se empezaría a procesar, y después de aproximadamente 1 minuto y medio ya tendríamos por aquí el resultado. Y lo primero que podemos apreciar es que tenemos un clip de 6 segundos gracias a utilizar 4 imágenes. Así que aquí para poder verla le doy al play Y algo que podemos apreciar en este nuevo vídeo es que realmente el movimiento está genial, pero además ha evitado simplemente duplicar el vídeo, ya que como podemos ver, el movimiento que tenemos al principio, si lo comparamos con el siguiente, es totalmente distinto. Así que imagina por un momento la de posibilidades que podemos hacer con este nuevo modelo. Y bueno, ¿qué te ha parecido que hayamos podido hacer esto de una forma gratuita? Déjamelo por los comentarios y comparte si te gustó. Como estamos viendo, los modelos y resultados de las inteligencias artificiales mejoran de forma constante, permitiendo hacer vídeos con movimientos de calidad de una forma más rápida, algo que parecía difícil de conseguir hace tan solo unos meses, haciendo que poco a poco vayamos integrando lo que parecía imposible en nuestra nueva realidad.