🤯 GEOTRACKER para BLENDER, Tracking de objetos Brutal!!! 🔥

En el tutorial de hoy vamos a ver un addon que se llama GeoTracker. Es un sistema de tracking de objetos y de cámara basado en geometría y está desarrollado por Kintools, a los cuales les quiero dar las gracias por haberme dejado las licencias para enseñaros cómo funciona el addon. Gracias a este sistema de tracking vamos a poder integrar en nuestras escenas elementos 3D y poder hacer cualquier tipo de efectos especiales que se nos ocurran. Lo mejor de todo es que además podemos utilizar Face Build, Blender, que nos va a permitir generar una cabeza de referencia basada en geometría real o fotogramas que saquemos de un vídeo y texturizarlo todo desde Blender. Y, ¿qué es lo mejor de todo?

Que es gratuito.

GeoTracker para Blender está en versión beta y lo podéis descargar de manera gratuita hasta que salga la versión definitiva. Hoy vamos a hacer el tracking de una cabeza, vamos a coger un personaje y vamos a hacer que una cabeza tridimensional de referencia se mueva siguiendo perfectamente el movimiento de nuestro objeto, en este caso, una persona. Cuando ya tengamos la estimación de nuestra cámara y todo el movimiento de esa cabeza calculado, vamos a poder integrar cualquier tipo de objeto.

Yo lo que he hecho es integrar un casco de ciencia ficción. Bueno, pues lo primero que haremos es ir a la página de Kintools, kintools.io, y desde ahí vemos cómo tenemos GeoTracker para Blender. Descargamos la beta gratuita. Y en Blender vamos a Preferencias, Add-ons, e instalaremos el archivo que acabamos de descargar. Una vez registrado el addon, tenemos que descargar todos los archivos adicionales que nos pide y ya estaría listo. Nos vamos al panel lateral, seleccionamos GeoTracker y vamos a darle clic en Create New GeoTracker. Seleccionamos el clip que queramos trackear y pulsamos 0 para entrar en la cámara activa y poderlo visualizar. Opciones de cámara, tenemos también el tamaño del sensor de nuestra cámara y si queremos que GeoTracker GeoTracker haga el cálculo de la distancia focal. Yo le voy a dar clic y voy a seleccionar reanalizar o analizar si es la primera vez. Selecciono el rango de fotogramas y GeoTracker hace su magia, analizar hacia adelante, hacia detrás, y cuando haya terminado debería aparecer la distancia focal con la que se ha grabado el clip. Seleccionamos Face Builder, vamos a crear la cabeza que nos va a servir para hacer el tracking. Damos Create New Head y Face Builder nos ha generado una cabeza básica. Si nosotros queremos personalizarla, necesitamos imágenes. Vamos a sacar fotogramas de nuestro clip y para eso vamos al GeoTracker y desde el menú contextual de clip le decimos Take Snapshot. Lo mejor es que tomemos snapshots en diferentes momentos de nuestro clip para que la cabeza de nuestro personaje se vea de todos los ángulos posibles. Así será más fácil crear una geometría correcta. Hacemos clic en Añadir imágenes, añadimos todas las imágenes que hemos creado Y nos aparecerán listadas aquí debajo de Views con una cámara que se ha generado para cada una de ellas. Voy a pinchar en cada una de ellas y le voy a decir Align Face. GeoTracker lo que va a tratar de hacer es alinear las partes más importantes como los ojos, las cejas, la nariz, la boca con el clip de muestra. Vamos a ir a Modelo y lo que vamos a hacer es activar la parte inferior del cuello porque no nos hace falta. Ahora tenemos que repetir este mismo proceso clip por clip. Si en alguno de ellos cuando le deis Align Face os da error, podemos coger esa imagen y desde el menú contextual directamente eliminar. Como hemos cogido bastantes referencias, siempre y cuando nos salga un error, cogemos y eliminamos esa imagen. Repetiremos el Align Face con todas las vistas que tenemos y ahora lo que nos queda hacer es refinar la posición de esa geometría. Cada uno de estos puntos rojos son una especie de tiradores que nos va a permitir deformar la malla. Podemos crear puntos nuevos si nos hacen falta simplemente haciendo clic Ahora lo que tenemos que hacer es ir ajustando de una manera más fina usando esos puntos o creando nuevos, y así vamos a lograr que la geometría se parezca lo más posible a la forma del modelo que hemos utilizado. Vamos a repetir este paso vista por vista, y cuando hayamos terminado simplemente clicamos en Exit Pin Mode. Esa cabeza genérica que nos había creado Face Builder ahora se ha deformado para parecerse lo más posible a nuestro modelo original. Desde aquí donde pone Textura lo que podemos hacer es generar una textura que que va a estar basada en una proyección de cada una de las imágenes que hemos utilizado. Podemos seleccionar cuáles queremos, damos a OK y Face Builder nos genera esta textura. Para que el trackeo sea más fácil, lo que voy a hacer es desactivar la parte superior del cuello también. Ya podemos ir al diálogo de GeoTracker y seleccionar la geometría con nuestra cabeza. Hacemos clic en Start Pin Mode y vamos a tener que volver a reposicionar la cabeza, pero esta vez no hay un Align Face, o sea que tenemos que hacerlo a mano, pero es muy sencillo. Simplemente tenemos que pinchar y arrastrar iremos girando la geometría hasta que coincida con el fotograma en el que estamos parados. Desde aquí, de apariencia, tenemos esta opción de wireframe que lo que nos va a permitir es hacer más transparente o no la malla para poder ver mejor el vídeo que está por debajo. Terminamos de ajustar y cuando encaje totalmente con nuestro vídeo de referencia ya podemos empezar a trackear. Haremos clic en Track to End y empezará a trackear del punto en el que estamos hacia el final. Si el tracking por lo que sea no ha sido perfecto perfecto, y como veis aquí han habido algunos errores, yo puedo moverme a un fotograma en el que vea un error y reposicionar la mano en la cabeza para que encaje perfectamente de nuevo. Cada vez que yo hago un movimiento a mano se genera un keyframe amarillo, que a diferencia de los verdes que ha generado GeoTracker, estos son los que ha generado el usuario. Cuando haya terminado de arreglar todos los puntos problemáticos que considere, lo que vamos a hacer es refinar el tracking. Vamos a dar clic en Refine All y toda esa información de track que había generado el BioTracker se va a actualizar tomando en cuenta esos ajustes que hemos realizado. Si hay dos fotogramas que hemos modificado muy cerca uno de otro, podemos borrar la interpolación entre ellos para evitar que hayan errores o movimientos extraños entremedio. Yo estoy viendo que a partir de este punto el tracking no es correcto y lo que voy a hacer es borrar toda esta información pinchando aquí y voy a reanalizar desde este punto hasta el final y repetimos la misma dinámica. Buscamos puntos en los que se haya podido desplazar la malla, reposicionamos, y cuando tengamos reposicionado, Refine All. Este es el resultado del tracking y ya es bastante mejor. Voy a reproducirlo. Voy a borrar la misma zona que antes porque esos dos puntos están muy cerca, y borrando esos keyframes intermedios, la animación será mucho más fluida. Cuando ya esté contento con la animación, saldré con Exit Pin Mode. Y ahora la cabeza sigue perfectamente el movimiento de nuestro vídeo. Voy a sacar la parte superior del cuerpo cuello que habíamos ocultado. Y desde el menú Scene tenemos la opción de Geometry Link y Export. Esto nos va a crear un empty que tiene exactamente la misma animación que nuestra cabeza, y a este podremos vincular el objeto que queremos introducir en nuestra escena. En este caso, yo lo que voy a utilizar es un casco que he encontrado en Sketchfab, es un modelo gratuito, y este es el creador, Víctor Colpard. Le damos a Download 3D Model, y como ya había preparado una escena aparte con ese modelo y sus texturas, simplemente le digo Append y la colección que contiene mi casco. Ahora tengo que hacer coincidir la posición, la rotación y la escala de mi casco con la animación de la cabeza que nos ha generado GeoTracker. Para eso voy a utilizar un addon gratuito que tengo aquí en Tool, se llama Snap Object, y con un solo clic hace que un objeto herede la rotación, posición y escala de otro. Voy a terminar de ajustar a mano el casco, lo voy a reposicionar, lo voy a rotar un poquito si hiciera falta, y con la cabeza seleccionada a la A la hora de renderizar tenemos que marcar en visibilidad Holdout y Shadow Catcher. Con Holdout la cabeza hará de máscara y se renderizará transparente, y con Shadow Catcher renderizaremos solamente las sombras que recibe para que sea más fácil componer luego. Ahora lo que tengo que hacer es vincular el movimiento del casco con el empty que me ha generado GeoTracker. Selecciono mi casco y arrastro dentro del empty pulsando Shift para que ambos se queden linkeados. Para la iluminación y para el mapa de reflejos lo que quiero es utilizar un HDRI. Desde Shading me voy a World, selecciono Background y con Ctrl+T me sale la opción de Environment Texture. Recordad que Ctrl+T es porque yo tengo instalado el addon Node Wrangler y cargaremos nuestro HDRI y ya nos podemos ir al Layout de nuevo y nuestra escena estaría lista para renderizarse. Yo lo voy a renderizar con Cycles, voy a dar bastantes pocas muestras y lo que voy a hacer es activar el Denoiser. Y después de componer en After Effects, así es como ha quedado mi casco.

Bueno, espero que os haya gustado el tutorial. Os voy a dejar en los comentarios los links a KineTools para que os podáis descargar GeoTracker y probarlo, y el material de muestra que yo he utilizado también está en la página de KineTools. Y también os voy a dejar el link del addon gratuito Snap Object, que es uno de los que utilizo en el tutorial. Si os ha gustado, dejaros un like, suscribiros si no estáis suscritos, activar la campanita, así no os perdéis nada de todo el contenido que voy a ir subiendo periódicamente sobre VR, VFX y motion graphics. Y si queréis ayudar un poco más al canal a que siga creciendo, podéis invitarme un café en mi cuenta de Ko-fi. El enlace está en la descripción del vídeo. Y nada, hasta el próximo.