⚡Como hacer TRACKING de CAMARA en BLENDER!!! | De cero a HEROE!!! 🚀

En el tutorial de hoy vamos a ver uno de los aspectos más importantes de las producciones VFX: el camera tracking, imprescindible para hacer match moving o para que los objetos tridimensionales que queremos integrar en nuestras escenas sean lo más realistas posibles. Uno de los factores más importantes a tener en cuenta es que todos los objetos tridimensionales que queremos integrar tienen que seguir con una precisión absoluta el movimiento original del vídeo, sobre el cual queremos integrarlos. Ya vimos cómo hacer match moving con GeoTracker, un addon para Blender que era una pasada, pero hoy vamos a ver cómo utilizar el tracking de cámara nativo de Blender. Aunque en las grandes producciones se utilizan cámara tracking de diferentes marcas y de precios muy elevados, hoy vamos a ver cómo hacerlo sin salir de Blender, totalmente gratis. Veremos algunos de los factores más importantes para que nuestros vídeos puedan ser trackeados perfectamente, sin ningún tipo de problemas.

Aprovechando que voy camino al trabajo, voy a grabar el plano que vamos a utilizar para hacer el tracking. Y hay algunos aspectos que tendríamos que tener en cuenta a la hora de grabar nuestros planos. Deberíais poder utilizar algún tipo de soporte como este de aquí, que es muy sencillo, es un simple trípode para móvil con un adaptador, porque si lo tenemos con la mano vamos a introducir movimientos y rotaciones un poco raras. Lo ideal sería que utilizarais un gimbal. Si utilizáis el móvil y un estabilizador, lo mejor que podéis hacer es desactivar el estabilizado de cámara del móvil. Yo voy a grabar aquí en una especie de descampado que hay, está lleno de piedrecitas, de charcos, de historias en el suelo, ¿no? Todos esos puntos nos van a poder servir para luego utilizarlos como puntos naturales de track. Cuando hacemos tracking de cámara para VFX, lo mejor es que pongamos markers siempre que sea posible. En caso de entornos naturales, lo que trataremos de hacer es de buscar puntos naturales de alto contraste para poderlos utilizar como referencias para el tracking. En este descampado hay agua, hay charcos porque ha llovido y tengo que evitar a toda costa los reflejos. Las superficies reflectantes, los reflejos, todo eso son malas elecciones para hacer tracking. Ni reflejos ni superficies brillantes, nada de eso. Todo eso va a inducir un montón de errores en nuestro tracking. Yo voy a elegir simplemente objetos en el suelo, cosas que no se muevan. Si tenéis la posibilidad de utilizar una cámara de 360, yo voy a utilizar esta Ricoh Theta que tengo. Cuando grabemos el plate, sacar la foto del 360 y así la utilizamos también para iluminar nuestra escena 3D. Tratar de que los movimientos sean lo más fluidos posibles. Si puede ser, bloquear la exposición y el foco para que no haya cambios de foco. Tratar de que la velocidad de obturación sea lo suficientemente alta. Para evitar que si hay paneos o movimientos, la imagen quede desenfocada, quede con poca definición, porque eso hará que el tracking sea mucho más complicado de hacer. Pues nada, yo voy a grabar el vídeo que vamos a utilizar para el track y nos vamos al ordenador.

Bueno, pues ya estamos en Blender y vamos a importar el vídeo que hemos grabado. Aunque Blender admite otros formatos, lo mejor que podemos hacer es importar una secuencia de imágenes. Para ello, lo que voy a hacer es irme al workspace de VFX y de motion tracking. Fijaros que este es el diálogo que nos aparece. Aquí vamos a tener cargada la media y aquí tenemos las diferentes herramientas. Por ahora voy a cargar la secuencia y lo que tenemos que hacer es decirle a Blender que tome los frames de esta secuencia, y eso lo vamos a hacer desde aquí, Set Scene Frames, y vamos a también darle a Prefetch. Prefetch lo que va a hacer es cargar la secuencia en la memoria RAM para que sea mucho más fácil hacer scroll sobre ella. Una vez tenemos esto, fijaros que tenemos varias opciones aquí donde dice Clip. Tenemos la opción de Track, de Solve y de Annotation. Podemos hacer anotaciones y esas anotaciones incluso se podrían utilizar para definir patrones de track. En este caso, ahora mismo vamos a ver las opciones de track. Tengo dos opciones. La primera de ellas es decir que Blender detecte features automáticamente, es decir, posibles candidatos a puntos de track. Si yo le digo aquí Detect Features, Fijaros cómo va a lanzar un montón de puntitos amarillos. Estos puntos son las cajas de muestra dentro de este área que se va a analizar, o pattern. Hay otra cosa, se llama el search size. Si yo selecciono uno de ellos y amplío el search size, para verlo tenemos que activar aquí la opción de search. Veis, este es el área dentro de la cual se va a buscar este patrón. Es decir, defino un patrón que va a tener todo este rango para ser detectado. Si la imagen se mueve mucho más rápido, yo debería hacer más grande mi área de búsqueda, mi search size. Conforme más grande lo haga, más le costará a Blender calcular el movimiento de track. Esto es muy similar a lo que ocurre en After Effects con el point tracking. Bueno, pues esta es la primera opción. Blender está lanzando, digamos, posibles candidatos de track. Dentro de este diálogo de detect features tenemos también un menú que nos permite decir dónde quiero que se coloquen. Solo en las áreas anotadas, fuera o dentro del área anotada, o en el plano completo. Esto es referente a esto de las anotaciones. Yo puedo seleccionar, por ejemplo, una zona aquí, y entonces cuando me venga a track decir que quiero que detecte los features, pero solo dentro del área de anotación. Como veis, el resto se quedan deseleccionadas y solo me selecciona las que están dentro de mi anotación. Cuando selecciono Detect Features, estos son los puntos de track que se me están generando dentro del plano, candidatos posibles a puntos de track que Blender genera automáticamente. Tengo varias opciones que son el margen, eso va a determinar cómo de cerca o de lejos van a estar de los márgenes de la imagen. También tengo el umbral, conforme yo aumente o disminuya el umbral voy a decirle a Blender si voy a añadir más o menos objetos dentro de las zonas que él considera idóneas. Y luego tengo la distancia. Si yo disminuyo la distancia, se generarán más puntos porque están unos más cerca de otros. Esto, digamos, es la forma automática de generar tantos puntos de track. Ahí lo que haría es lanzar un montón de puntos de track y empezar a trackear. La mayoría fallarán, pero dentro de los tantos que he hecho, alguno será bueno. Esta no es la mejor opción porque realmente cuando nosotros hacemos un tracking de una escena, el poder tener control de los puntos que vamos a elegir es fundamental. Casi todo el mundo en los estudios, cuando se hace match moving o se hace cámara tracking, los puntos se eligen uno por uno. La automatización se deja casi reducida a la mínima expresión. En este caso, bueno, pues tengo un montón de puntos de alto contraste, como vimos cuando estábamos haciendo la grabación, que yo puedo utilizar como puntos de Pues vamos a ir uno por uno. Vamos a, antes de eso, marcar algunos parámetros que sería bueno conocer. Por ejemplo, hemos visto lo que era el pattern size y el search size. Yo lo voy a dejar por defecto, no me hace falta en este momento cambiarlo. Tengo una opción que se llama prepass y una opción que se llama normalize. Yo en este caso voy a dejar el prepass activo, que viene por defecto, y luego el normalizado. El normalizado lo que va a hacer es hacer que las intensidades de la luz traten de ser lo más similares posible. El software va a tratar de igualar todas las informaciones de luminancia de la imagen para que si hay cambios muy fuertes no sean interpretados como cambios en los patrones. Le voy a decir que lo quiero normalizar y luego tenemos estas opciones que son el match y el motion model. El motion model se refiere a qué es lo que quiero analizar dentro de ese patrón, ese punto de track que yo estoy definiendo. Si quiero que sea solamente Posición, posición y rotación, posición y escala, posición, rotación y escala, perspectiva o affine. Affine lo que hace es que se distorsione la caja de búsqueda en caso de, por ejemplo, que estemos tratando de hacer un tracking de cosas elásticas, ¿no? Que se mueven, telas o cosas por el estilo. Este es el más completo de todos, tiene en cuenta no solo la perspectiva sino además la distorsión de la imagen. Y es el que también tarda más. Podemos decir que a Fine. Y después tenemos la opción de Match. Match lo que hace es hacer una búsqueda nueva. Por ejemplo, si está en Keyframe, va a hacer búsquedas nuevas de un fotograma a otro. Nuestro patrón se va a ir buscando fotograma a fotograma. O puedo utilizar la opción Previous Frame. Previous Frame lo que va a hacer es cada nuevo fotograma se convierte en el punto de partida del siguiente. Decir, yo hago el tracker en el frame 1 y para el frame 2 tomo el 1 como referencia, para el 3 tomo el 2, así sucesivamente. En este caso lo vamos a dejar en keyframe. Y después tenemos los settings extra. De nuevo tenemos aquí el margen, cómo de cerca o de lejos se puede ir de los márgenes de la imagen. El peso es qué influencia tiene un tracking en el solve de cámara. Yo puedo, si tengo más de un punto de track, tengo que tener al menos 8 puntos de track correctos para hacer el solve de cámara, puedo decirle algunos de ellos, si no son demasiado buenos o el margen de error es alto, que no tengan un peso de 1, es decir, que tengan un peso inferior. Y luego la correlación. La correlación es el peso en el patrón que tiene que Blender encontrar para considerarlo válido. De un fotograma a otro, Blender va a buscar cambios en el patrón. Correlation nos indica cómo de grandes pueden ser esos cambios como máximo. Si yo digo que 0,9 quiere decir que como máximo de un fotograma a otro puede haber un cambio de un 10%, es decir, el 0,9 tiene que ser idéntico para que Blender lo considere como un patrón correcto. Realmente lo que los trackings de movimiento hacen, definen un patrón, y a partir de aquí lo que voy a hacer es ver si este patrón se repite en el siguiente fotograma y en qué posición está. El cambio de posición del fotograma 1 al fotograma 2 generará unos números que después, mediante un algoritmo matemático, permitirá a Blender poder deducir una serie de parámetros como el movimiento de la cámara, el tipo de lente que estamos usando, etcétera. Bueno, pues a partir de ahora, y esto es un poco tedioso, lo que vamos a hacer es ir eligiendo puntos de track. Por ejemplo, yo voy a empezar por este de aquí. Si yo me vengo aquí a track, veis cómo veo mi punto de track en grande aquí. Cuando yo empiece a trackear, estas son las teclas para hacer el tracking hacia adelante, tracking hacia adelante, tracking hacia detrás, un fotograma hacia adelante, un fotograma hacia detrás, eliminar la información del punto en el que nos encontramos hacia adelante o del punto en el que nos encontramos hacia detrás. Y esto es refinar hacia atrás o refinar hacia adelante. Vamos a crear un punto de track de nuevo. Ctrl+clic para generar un punto de track. Si quiero ver el área de búsqueda, Alt+S es el atajo para enseñarlo u ocultarlo. Trackear hacia adelante, como habíamos visto, o este botón o Ctrl+T. Si yo le doy Ctrl+T, fijaros, ha empezado a hacer el tracking. Aquí veo el gráfico de lo que ha generado, pero en este punto se para. ¿Y por qué se para? Pues porque llega al final y ya no existe. Y voy a buscar otro punto, por ejemplo este de aquí, que también tiene mucho contraste. Control clic y lo mismo, Control T. Y en este caso, fijaros que aquí ha desaparecido. En un caso como este, que deje de reconocerlo, con ese track seleccionado, por ejemplo, hacemos un poquito de escala y le volvemos a dar a trackear. Ha hecho un poco más, pero bueno, se ha vuelto a ir. Como no lo termina de coger, vamos a dejar ahí. Otra cosa útil es estos que ya hemos acabado con ellos. Si los queremos bloquear, Ctrl+L y los bloqueamos para de ese modo, por error, no volverlos a trackear. Voy a coger este punto de aquí y lo mismo, trackeo. Este lo ha hecho completo. Puedo comprobar si mis trackers, mis puntos de track son correctos o no mirando esta ventana de aquí. Cuando yo muevo, veis, el punto se mantiene siempre en la parte, en la misma parte, en este caso la central de ese objeto que he decidido trackear. Eso quiere decir que es un track correcto. Cuando estamos trackeando, otra cosa que es muy útil es poder bloquear la visualización de los puntos de track. Pincho aquí, Toggle Lock Selection. Cuando yo haga el track o reproduzca, queda centrado el punto de track. Tengo una visión mucho más clara de qué qué está ocurriendo realmente. Tener diferentes puntos de track en lo que es el foreground, primer plano, plano medio, midground y el background también va a ayudar a Blender bastante a entender qué es lo que está pasando con nuestra cámara. Puedo, si quiero, poner más de un track a la vez, no hace falta que vaya uno por uno. Seleccionarlos todos con mayúsculas y Ctrl+T, los trackeo todos los 4 a la vez. Voy a intentar hacer el solve de cámara a ver qué pasa. Me voy a la pestaña de solve Y aquí tengo que decir varias cosas a Blender. Lo primero es si he utilizado un trípode o voy a utilizar 2 fotogramas clave para definir la mayor parte del movimiento. Yo voy a utilizar la de keyframe y automáticamente Blender tratará de generarme 2 puntos en los cuales él cree que hay el mayor cambio de perspectiva posible o mayor parallax posible en la imagen, o los puedo definir yo. Mayor cambio de perspectiva está entre el 60 y el 120. Pues voy a cambiar aquí 60, 120, y eso le dice a Blender que en este fragmento entre el fotograma A y el B es donde más cambio de perspectiva hay, y que se centre ahí para generar el cálculo del resto de la cámara. Si yo sé la distancia focal, se los podemos decir a Blender. Yo esto lo grabo con un teléfono móvil, no lo he grabado por una cámara. Entonces, si me vengo aquí a las opciones de cámara, debería saber el tamaño de mi sensor y el aspecto de píxel. El aspecto de píxel, como no es anamórfico, mi grabación no es anamórfica, va a ser 1. Y el tamaño del sensor en milímetros, pues lo tenéis que saber. Yo en este caso tengo, no lo sé cuál es, creo que lo voy a dejar vacío. También tenéis algunos presets aquí, pero claro, son presets para cámaras más conocidas. Yo creo que el sensor de mi teléfono es de 1/1.8 pulgadas, y en cuanto a la lente, la distancia focal tampoco la conozco, con lo cual lo voy a dejar vacío y le voy a decir a Blender que refine todo: distancia focal, el centro óptico y la distorsión radial. Vamos a hacer el primer solve. Bueno, pues Blender ya ha acabado de hacer el solve Y fijaros, tenemos un error de 0.3. Eso está de maravilla. Los errores por arriba de 1 píxel son inaceptables, es decir, eso no nos sirve para nada. Por abajo de 1, bueno, empieza a ser algo que podemos usar. Y todo lo que esté por debajo de 0.5 es perfecto. No perfecto, porque perfecto sería 0 o 0.1, pero es excelente, vale. En este caso, pues bueno, es muy bueno. Mi solve es muy bueno. Cuando selecciono un punto de track, por ejemplo este de aquí, me dice que el error para ese punto es de 0.22 píxeles. Yo puedo ver, si me vengo aquí a Clip Display, puedo activar la opción de info y lo que vamos a poder ver es qué porcentaje de error tiene cada uno de los trackers: 0.20, 0.26. Entonces esto nos permite hacer una especie de criba. La otra forma para hacer una limpieza es que si nos venimos dentro de la opción de Solve a Cleanup, le puedo decir Clean Tracks y definir a partir de qué error quiero empezar a limpiar. Por ejemplo, pues si pongo 0.36, pues solo me selecciona estos dos y lo que puedo hacer es borrar. Otra de las cosas interesantes que podemos ver es cuando estamos haciendo el track, esta es la vista gráfica del comportamiento de esos puntos de track en X y en Y. Si yo veo gráficos un poco locos, que se salen del resto, hacen picos extraños, directamente desde aquí selecciono y los puedo borrar. Por ejemplo, yo querría borrar estos dos porque los veo extraños. Y ahora lo que haría es decir que quiero resolver la cámara. Pues en este caso, 0,3, no me ha bajado nada, no he ganado nada, pero bueno, esa es la forma para que sepáis que lo podéis hacer. Lo que tengo que definir es un suelo. Para definir un suelo me hacen falta 3 puntos. En este caso voy a elegir estos 3, por ejemplo, y le voy a decir aquí Set Floor. Y fijaros que automáticamente mi escena ha cambiado. Aquí también puedo definir los ejes. Para ello voy a elegir un punto como mi origen de escena, Set Origin, y otro punto que esté ajustado a X o Y respecto respecto a mi origen. Pues voy a seleccionar este, le voy a decir que es el eje Y. Veis cómo acaba de orientar mi escena en función a lo que acabo de decirle. Imaginaros que yo conozco la distancia entre estos dos, pues diría que de aquí a aquí, me vengo aquí, Set Scale, hay 2 metros. Voy a escribir 2 y Set Scale, y eso va a definir la escala de mi escena. Esto es bastante importante cuando hacemos simulaciones Si no, no es demasiado importante, pero en un set real cuantas más notas toméis, mejor. Y ahora ya solo me queda poner Set as Background. Fijaros, acaba de poner mi fondo en la escena. Solo me queda decirle a Blender Setup Tracking Scene y fijaros cómo automáticamente aparece aquí un plano que por defecto, ahora veréis que es un Shadow Catcher, aparecen los puntos de track Es decir, los tracking markers que he seleccionado aparecen en la secuencia y además la cámara se está moviendo. Cuando yo muevo, veis, mi cámara sigue el movimiento de la cámara real, con lo cual mis objetos se mueven en función a ese movimiento. Y además tengo estos puntos que me van a servir en caso de que yo quisiera ubicar objetos ahí. Bueno, como esto ya lo tengo, lo que voy a hacer es salvar si no hemos salvado, y nos podemos ir ya directamente a la ventana de layout para ver la escena. Damos 0 para entrar en el modo de cámara. Este cubo es mi objeto, por defecto Blender lo pone. Lo voy a subir un poco. Y este plano de aquí es el plano que hace las veces de suelo. Automáticamente lo que ha hecho Blender es, si me vengo aquí a visibilidad, lo ha convertido en un shadow catcher. Es decir, las sombras que se proyecten se proyectarán sobre este plano. Como habíamos grabado un HDRI, había hecho unas fotos con una cámara en 360 del espacio. Lo que voy a hacer es cargarlo. Me vengo aquí a Shading, World, y elijo. Y lo que tengo que hacer es tratar de cuadrar el HDRI con la escena real. Yo sé que aquí este edificio no está en esta posición, pues bueno, voy a venir aquí y lo que voy a hacer es rotar hasta ver el edificio correctamente. Estaba en esta posición y este sería mi HDRI iluminando mi escena. Podemos, si está demasiado fuerte, podemos modificar un poco la intensidad. Vamos a decirle que nuestra escena sea transparente, si no vemos el HDRI, vemos el fondo, que es la imagen que nos ha puesto Blender. La imagen la estamos viendo porque él la coloca automáticamente aquí dentro de la cámara. Background Images es parte de lo que genera automáticamente Blender en el tracking. Bueno, pues fijaros, ya tengo aquí mi cubo que está siguiendo el movimiento perfectamente de mi escena. Cuando lo quiera renderizar, bueno, pues puedo poner profundidad de campo, desenfoque de movimiento. Ahora no estamos viendo las sombras y eso es por algo que hace Blender automáticamente, que es generarnos 2 colecciones que son foreground y background. Y aquí también está foreground y background. Si yo estoy en foreground, lo que estoy viendo son los elementos como el cubo, etcétera, las luces. Y cuando me vengo a background, veo solo las sombras, que en este caso veis está en otra capa. Aquí, si yo muevo el sol, la sombra está afectando al shadow catcher. Pero no la estoy viendo junto con él, con mi cubo, y eso es por culpa de esta opción que nos genera Blender. Si lo queremos desactivar, simplemente nos venimos aquí a composición. Esto es el árbol de nodos que ha generado él y vamos a decirle que no use los nodos. Nos volvemos al layout y pues podemos sacar el ground, este lo podemos sacar de esta colección. Y ahora ya lo estamos viendo todos a la vez. Aquí vemos, vamos a dejarlo en la misma. Puedo escalar esto un poco más si quiero y puedo rotar mi sol para ver. Veis que la sombra ahora mismo sí que está aquí afectando. Si queremos ver los reflejos, si yo a este cubo que he generado aquí hacerlo un poco esférico y le añadimos metal y le quitamos el roughness. Fijaros cómo estoy viendo el HDRI, es decir, los reflejos de lo que yo veo están basados en el HDRI que he usado. Mira, ya estoy yo. Si os dais cuenta, aquí se está reflejando esta capa de aquí. El shadow catcher sí está incluido en las reflexiones. Cojo este plano, lo voy a subdividir varias veces, es un poco importante, que lo subidáis un poco. Y ahora voy a decir Unwrap para las UVs y le voy a decir que lo que quiero hacer es Project from View, voy a proyectar desde la vista. Y ahora desde Shading, nuevo material, y le voy a cargar la misma escena del descampado. Simplemente tengo que decir aquí que no es una imagen única, sino que es una secuencia. Salgo del modo de shading. Ahora está reflejando el suelo, sombras más reflejos y sombras de contacto. Además, si os fijáis, tenemos las sombras que está generando el HDRI y además tenemos sombras de contacto. Y ya solo nos quedaría renderizar. Yo he sustituido la bola y he puesto una especie de robot animado que he bajado de Sketchfab. Es súper sencillo y es una de las formas más fáciles de integrar elementos en una escena. El camera tracking es básico. Podemos hacerlo en After Effects y traernos la información a Blender. Para eso tengo un vídeo en el canal donde podéis aprender a hacerlo si queréis. Pero esta forma es lo más cercano que vais a encontrar en un software gratuito a un tracking más profesional. Pero bueno, esta es la forma, digamos, tradicional, la forma clásica. Para que hagáis tracks de cámara en Blender.

Bueno, ¿qué te ha parecido el tutorial? Espero que te haya gustado. Si es así y no quieres perderte nada de todo el material que voy subiendo periódicamente sobre motion graphics, 3D y VFX, por favor suscríbete si aún no estás suscrito. Déjate un like si te ha gustado, y si tienes alguna duda, alguna petición de tutorial o quieres comentarme algo, por favor hazlo en comentarios. ¿Quieres compartir conmigo tu tracking de cámara? Súbelo a Instagram y etiquétame. Si te gustaría colaborar con el canal un poco más, tienes mi link de Ko-fi en la descripción del vídeo y el link para mi tienda de camisetas míticas como esta también. Y si quieres seguir aprendiendo, ver más trucos, tutoriales y guías, no te pierdas mi nuevo blog, AprendeVFX, donde encontrarás un montón de entradas para hacerte un mucho mejor artista de VFX.