Seedance 2: la skill de Claude que escribe mis prompts de vídeo (te la regalo)

¿Has visto este vídeo? Es que ayer me llegó un encargo de una pieza audiovisual a partir de una música ya dada y todo hecho con IA. Hasta ahí todo normal, pero el cliente era muy especial.

Hola, mi amor, he generado esta canción para mi juego de mesa y he pensado que podrías crear algún vídeo usando alguna de esas IA que a ti te gustan tanto. Hazme algo bonito, por favor.

Y es que es mi mujer, y es que ella ha sacado este juego de mesa que está inspirado en la lotería mexicana pero con diseños basados en los números de la charada cubana. Así que los diseños de las cartas, los personajes o incluso el dinero ya están creados. Y eso es justamente lo que debería utilizar para darle a ese vídeo la estética de su juego de mesa, la charada. Pero había un segundo problema: lo necesitaba en menos de un día. Así que esto es exactamente lo que hice paso a paso, incluido el skill que creé para Claude, que escribió todos los prompts por mí y que además te voy a regalar para que te lo puedas descargar ya mismo. Cada número tiene su personaje y ella creó una canción de reparto cubano utilizando su uno que yo no me saco de la cabeza. Así que el encargo era ese: un videoclip animado para esa canción. Las condiciones: estilo fiel al arte de las cartas, cada carta que suena en la letra aparece en pantalla y que todo esté sincronizado con la música. Y además entregado en menos de un día. Y como la canción ya la hizo ella, pues ahí no tengo que hacer nada. Así que este tutorial va de vídeo, no de música. Y aquí lo primero no es ponerse ya a generar vídeos o imágenes imágenes a lo loco. Lo primero es entender la canción. Y aquí tengo el proyecto de Suno y esta es la canción que vamos a utilizar, se llama Amor en el puerto de La Habana. Además de que es extremadamente pegadiza, si yo hago clic tengo la transcripción completa de la canción. Y entre otras cosas, lo que puedo hacer es descargarme toda la canción o incluso partes de la misma, lo que se denomina stems. Yo podría descargarme solo la voz, solo la música o solo ciertos instrumentos. Vamos a descargar únicamente la canción, pero lo que sí que me va a hacer falta es la transcripción de la letra. Así que la voy a copiar y se la vamos a dar a Claude. Y Claude no puede analizar por sí mismo la letra de la canción, pero lo que sí que puede hacer es entender cómo está distribuida. Así que lo que le voy a pasar es el archivo de audio de la canción que me he bajado de Suno y también le voy a dar la letra. O sea, que yo me estoy currando este vídeo y tú todavía no le has dado al botón de like. Pues eso tiene muy fácil solución. Coges el ratón Te vas al iconito y lo pulsas. Y si ves uno que pone hype, vas a ver lo que pasa. No lo sabes. Dale, dale y verás. Y le voy a pedir un prompt bastante específico.

Te subo la canción que ha generado mi mujer para promocionar su juego de mesa y debajo te pego la letra con su estructura. No puedes escuchar el audio, pero sí analizarlo con código. Sácame el tiempo, la duración, dónde cambia cada sección y dónde está el pico de energía. Después cruza esos timestamps con la letra y devuélveme una tabla con sección, tiempo de inicio y fin, qué dice la letra ahí y qué cartas del juego se mencionan en cada parte. Las cartas van a ser los personajes y objetos de la letra, como por ejemplo la luna, el dinero, la guagua, el diamante, la bicicleta, las flores, el barco y la cachimba.

Y ahora le voy a pegar la letra de la canción, que me he traído es uno. Así que le pego también la letra y, como en mi caso concreto las referencias van a ser las cartas del juego y en este momento Claude no tiene mucho contexto, pues se las voy a dar también. Le doy todas las cartas y ahora ya tiene todo y me va a poder generar esa división en tiempos que me hace falta. Ya veis que Claude no es capaz de entender qué dice exactamente la canción, pero sí que va a analizar el ritmo, dónde están los puntos de inflexión, los cambios y, como le doy la letra diciéndole pues esto es el estribillo, esto es la entrada, esto es el final. Y va a tener un contexto muy claro de todos los tiempos y cómo se divide cada bloque. Y me va a preparar una lista con todos los vídeos que podría generar para cada fragmento de esa canción. Obviamente lo podría hacer a mano, pero de este modo es bastante más rápido y probablemente más preciso. Pero si tienes tiempo y este tipo de cosas se te da bien, pues adelante. Y fijaros qué maravilla, ha hecho el análisis completo, me dice los BPM, el tiempo, la duración. Los picos de energía, dónde se encuentran, y cada una de las secciones indicándome qué dice la letra y qué cartas menciona. Y ya con toda esta información, lo que voy a hacer es generar mis prompts para Seedance, pero no voy a delegar todo completamente dentro de Claude porque sería un error. Lo que le voy a dar es una serie de parámetros para que me devuelva prompts con el estilo y la estructura que sé que me van a funcionar y que son los que yo utilizo normalmente. Así que lo que le voy a pedir es que me genere un skill para poderlo replicar Y que es el que además os voy a dejar para que os lo podáis descargar y probarlo vosotros mismos.

Así que le voy a decir a Claude: créame un skill para Claude que se llame KSPMN Bloques, y su trabajo tiene que ser convertir cualquier escena que le describa en un prompt optimizado para Seedance 2. Tiene que tener una estructura de bloques en este orden exacto: contexto, referencias, primer frame, cámara, acción, luz y color, estilo y candados.

Los candados son esas anclas necesarias para que el modelo no se desvíe.

Mis reglas innegociables: lo más importante del plano tiene que ir en las primeras 10-15 palabras, un movimiento de cámara por corte y una acción principal por corte. Límite de caracteres que varíe según la duración: hasta 1000 caracteres para clips de 5 segundos, 2000 hasta 10 segundos, y máximo 3000 para 15 segundos. Todos escriben positivo describiendo lo visible. Nunca digas sin tal cosa. Las referencias se citan con @etiqueta más una descripción corta que coincida al 100% con la referencia. Todos los prompts tienen que cerrar con un sufijo de consistencia en inglés: 4K, Ultra HD, Bridge Detail, Sharp Clarity, Cinematic Textures, Stable Picture, Maintaining Face and Clothing Consistency Without Distortion, con variante de anatomía para cuerpos en movimientos y variante de texto solo cuando haya letras en pantalla. Genera la salida en inglés y empaquétalo como archivo skill instalable.

Y más o menos eso es lo que considero que va a ser necesario y útil para todo este proceso. Así que directamente le voy a decir generar. Y es que usar un modelo de lenguaje para ayudarnos a hacer mejores prompts pues no está nada mal. De hecho, te hace muchísimo más productivo. Pero pedírselo y ya está es un error porque te va a devolver cosas realmente malas. Lo que tienes que hacer es definir una serie de comportamientos, de parámetros y de reglas para que el resultado sea lo mejor posible. Y yo en mi he desarrollado un montón de skills, que son los que utilizo en mi trabajo diario, y lo he hecho a partir de un montón de prueba y error. Y muchísimos vídeos generados y créditos gastados muchas veces en cosas muy malas. Así que, si eres de esos que directamente abres ChatGPT y le pides cualquier cosa, hazme un prompt para así dando, que sepas que es muy probable que el resultado que te dé sea bastante malo. Así que esto de hacer un skill a mí me funciona bastante bien. Igual a ti no tanto, pero si lo quieres probar, te lo voy a dejar en la descripción del vídeo. Te lo puedes descargar y decirme ¿Qué te parece? Y Claude ya ha terminado. Tengo mi skill con todo lo que lleva dentro y lo que puedo hacer es directamente decirle guardar habilidad. En vuestro caso, si no lo generáis desde cero y os descargáis este archivo que os voy a dejar en la descripción, ¿qué tendríais que hacer? Pues es muy sencillo. Te vas a tu usuario, le das ajustes y dentro de ajustes te vienes aquí a capacidades. Dentro de capacidades bajas hasta abajo donde dice skills. Y en Skills te dice que lo han movido a Personalizar. Pues pinchas aquí y estos son todos los skills. En este caso, yo tengo este de aquí, que se llama KSPMN Bloques. Si tú lo quieres importar, le darías a Añadir, Cargar una habilidad. Y aquí directamente arrastras el archivo y te lo carga. Así de sencillo. ¿Y qué voy a hacer ahora? Voy a añadirle de nuevo las cartas para que sepa cómo se llama el archivo y las recuerde un poco más. ¿Sabes que hay un botón que, si lo pulsas, puedes suscribirte a este canal y, de paso, activar una campana para no perderte nada cuando suba nuevo vídeo, pues te va a costar 5 segundos y te lo recomiendo un montón. Y voy a invocar ese skill, KSPMN Bloques. Lo invocamos utilizando la barra que va hacia la derecha y ahora le voy a hacer una petición mucho más concreta. Y esta va a ser la última.

Te adjunto las cartas reales del juego, son las referencias de estilo y de personajes. El look de todo el videoclip debe ser el de estas cartas, ilustración 2D plana y estilo de lotería vintage, contornos negros gruesos, contornos negros gruesos, colores planos saturados, grano de papel. Con la tabla de secciones y timestamps que me acabas de generar, Genera la shot list completa del videoclip, un prompt por plano cubriendo los 100 segundos de la canción con la duración exacta de cada clip, sus cortes internos si los hay, y qué carta como referencia en cada uno con su etiqueta. La historia sigue la letra: el marinero llega al puerto, ve a una chica bajo la luna, todo lo que dice la canción. Dame también los prompts de imagen de las localizaciones si las hubiera, las necesito generar antes, pero que no tengan personajes para que las pueda utilizar como referencia de localización. Y dame los prompts en orden para generar.

Y ya con esto le voy a dar a enviar. Yo estoy utilizando Fable 5, que es el modelo más avanzado. Y lo vais a tener disponible o no dependiendo de en qué suscripción os encontréis. Si tenéis un plan gratis, un plan de 20, un plan de 100, en función de lo que estéis pagando tendréis más o menos capacidad de utilizar un modelo u otro. Podéis utilizar el que queráis, son todos muy buenos, y probablemente con Opus sea más que suficiente. Le vamos a decir enviar, y ahora sí voy a tener de vuelta todos los prompts necesarios para empezar a generar las imágenes y el vídeo. Un skill es un documento de instrucciones que Claude consulta cada vez que le pides algo concreto. Y este que hemos creado genera prompts para Sídanos 2 con una estructura de bloques concreta para este trabajo que necesito, y lo hace con mis reglas: pocos movimientos de cámara, límites de caracteres según duración y sufijos de consistencia al final de cada prompt. Lo de los sufijos de consistencia es algo de lo que se puede debatir en otro vídeo, pero yo lo he añadido. Y el skill que hemos creado aquí te lo llevas gratis, lo tienes en la descripción, y ya has visto que instalarlo es facilísimo. Eso sí, tenemos un montón de prompts, un montón de ideas, pero nos falta lo más importante, así que hay que ponerse manos a la con imagen y vídeo. Y para eso voy a utilizar una plataforma que últimamente me está encantando, que se llama AZ8. Y de hecho, AZ8 son los sponsors de este vídeo. Y fijaros qué maravilla, ya tengo mi shot list completo. Aquí están todos los prompts, tanto de imagen, las localizaciones, como todos los prompts de vídeo. Así que nos vamos a generar ya. Y yo voy a utilizar AZ8 porque es una plataforma que me permite utilizar un montón de modelos y lo hace de forma nodal. Yo tengo aquí proyectos y me permiten generar imágenes, vídeos, audios, lo que quiera de forma nodal. A mí eso me encanta porque, por ejemplo, puedo subirle todas las imágenes de referencia, todas las cartas que teníamos, y fijaros, automáticamente aparecen en mi proyecto. Voy a generar algunas de las localizaciones que me faltaban y voy a crear una nueva imagen. Esto es un prompt de imagen y voy a pegarle el prompt que me ha generado también Clot para hacer todas las localizaciones que me hacen falta y puedo elegir el modelo que quiera. Utilicé Seedream 5 Pro, lo voy a dejar en 16:9, voy a tener más vista, que no está nada mal. Pero eso sí, la salida final de mi videoclip, como es para redes sociales formato corto, va a ser en 9:16. Así que ya con esto le digo generar y tengo una de las localizaciones. Y en el caso del vídeo también le voy a dar el prompt que nos ha generado Claude y vamos a hacer las referencias de cada una de las cartas. Por ejemplo, card barco, aquí es esta carta. La carta de la luna no la tengo, así que vamos a añadirla. También me hace falta el puerto por la noche, que es el que estamos generando aquí. Y vamos a esperar a que la imagen termine y así generamos el vídeo. Ya ha terminado la imagen, así que directamente le vamos a decir que la queremos utilizar y vamos a referenciar luna es la luna, y la localización del puerto por la noche es la localización del puerto por la noche. Ya con esto pues tendríamos todo listo para nuestro primer fragmento. Así que voy a cambiar la duración a 10 segundos y 9:16, y ya con esto le doy a generar, y AZ8 pues se pone a ello. Es que ya habéis visto que es increíblemente sencillo. Hemos hecho nuestras shotlists, tenemos nuestros prompts, y no tenemos más que cargar todas las imágenes, generar las localizaciones que no tenemos, porque las cartas solo están basadas en personajes y objetos, vincular todo eso al prompt y generarlo. Así de sencillo. Pero eso sí, no te creas que te va a salir todo bien a la primera, porque hay veces que algunos vídeos te van a tocar regenerarlos varias veces. Y en este caso concreto habían un montón de vídeos que generar. De hecho, ahora os voy a enseñar el proyecto original con el que trabajé. Vais a ver que tiene un montón de cosas y algunas las he tenido que regenerar pues un par de El humo sale de un sitio que no toca, el personaje hace una cosa extraña, y esto es una cosa inherente a la IA y que muchas veces pasa con Sidans 2. Si nuestros prompts son lo suficientemente buenos, ese riesgo de tener cosas extrañas pasando se reduce un poco, pero solo eso, se reduce. Obviamente no voy a empezar a hacer lo mismo con todos los planos del guión. Os enseño el método que he seguido y con el resto de planos he hecho prácticamente lo mismo. Eso sí, os enseño cuál es el proyecto completo para que veáis que hay un montón de de nodos de imágenes y de vídeo. Y sí, ya ha terminado. Y fijaros, este es el resultado, y la verdad que no está nada mal. Pero vais a ver esto que os comentaba, este tipo de cosas pueden suceder. Fijaros que aquí de repente el muelle se parte en dos. ¿Por qué? Pues no lo sabemos. El plano está muy bien, pero a partir de aquí no lo puedo utilizar más. Así que esto es algo que es muy probable que en algún momento os encontréis. No os frustréis, pero cuando generamos vídeo con inteligencia artificial, pues a veces nos toca regenerar. Si es un error recurrente que siempre os pasa, entonces sí, lo que hay que hacer es ver qué falla en el prompt. Y eso es algo que también podríais incluso ayudaros con Claude. Le dais el prompt, le explicáis lo que pasa y le decís, oye, esto está pasando siempre, ¿qué problema puede haber? Y él se pone a tratar de mejorar eso. Si ya tenéis vosotros experiencia y creéis que podéis localizar el error, pues hacedlo a mano, que no pasa nada. Y este es mi proyecto real, y fijaros que tengo un montón de imágenes generadas un montón de fondos. He generado fondos en 16:9, 9:16, y todos estos son los vídeos. Y cuando tengo que regenerar alguno, lo coloco a continuación. La verdad que no he tenido que regenerar demasiados, pero en este caso pues sí que he tenido que regenerar. En este caso también he generado algunas escenas extra que no, que no estaban en la descripción de planos. Y pues todos estos son vídeos, he generado bastantes vídeos. Lo bueno, que lo tengo todo aquí de un vistazo, sé qué referencias estoy utilizando en cada vídeo. Y la forma de trabajar a mí me encanta porque de un vistazo lo veo todo y tengo un montón de nodos para poder generar cualquier tipo de cosa. Incluso si es un proyecto colaborativo, podría dejar notas y decir cambiar el plano. Y así, si dentro de 3 días vuelvo y no me acuerdo de nada, pues veo mis notas y digo, ah, mira, aquí tengo que cambiar este plano. O sea que a mí me gusta mucho cómo funciona AZ8, y desde que lo he descubierto lo uso bastante y la verdad que me encanta. ¿Y cuánto ha costado cada una de estas generaciones? Con SIDDHANT 2 y en torno a 12 segundos cada una de ellas me ha costado 1800 créditos en 720p, eso sí. Y pues la verdad es que he generado bastantes vídeos. Fijaros, todos estos vídeos son los que forman parte de la pieza final. ¿Y en qué se traduce esto de 1800 créditos? Pues aproximadamente, y esto depende mucho mucho de qué plan tengas contratado, de si es mensual, de si es anual. Aproximadamente te diría que desde los $2 y mucho hasta los $2 y muy poco. Así que si quieres sacar la cuenta, aproximadamente pues sobre $2 y algo cada plano de 12 segundos. Y pues bueno, no sé cuánto habré gastado en este, pero ha sido por una buena causa. Ahora tengo un montón de clips de vídeo sueltos y la música por otro lado. ¿Qué es lo que debería hacer? Editarlo todo. Y yo DaVinci Resolve, que me encanta. Y como sabéis, además soy formador certificado por Blackmagic Design. Y obviamente no me voy a poner a hacer toda la edición aquí delante de vosotros porque el vídeo saldría eterno y luego me cae la retención y YouTube no se lo enseña a nadie. Y no se lo enseña porque igual no le has dado todavía like, igual eres de esos que llegas hasta este punto y ni siquiera te has suscrito. Pues hombre, este es un momento ideal para que te suscribas actives la campana para no perderte nada de lo que subo, y subo bastante. Así que si eso de DaVinci te interesa y te gustaría aprender un poco más sobre uno de los softwares de edición estrella en el mercado, y que además tiene una versión gratuita brutal, pues tengo por aquí este vídeo que yo creo que igual te interesa. Y si no, pues en el canal tienes un montón de vídeos de DaVinci Resolve, de Fusion, de todo. Y lo que sí que te digo es que aquí la edición ha sido casi ensamblar, porque el shot list ya estaba muy claro, ya venía con las duraciones de cada sección y las únicas decisiones importantes han sido, pues bueno, cómo darle ese aire de videoclip y que todo tuviera un poquito de sentido. ¿Queréis ver el resultado final? Pues aquí os lo dejo.

Esto pasó en La Habana. Sí. Óyeme la historia. Dale. Llegó el marinero al puerto fumando su cachimba y la vio bajo la luna. ¿Es perfecto?

Pues probablemente no. De hecho, si lo repitiera, pues probablemente haría más generaciones para tratar de arreglar algunos de los planos que no me terminaban de convencer. Pero el resultado no me disgusta del todo. Y pasar de una sola canción a un videoclip publicable en menos de 12 horas, y además con la promoción del juego de mesa, que es una locura, pues no está nada mal. Y lo más importante de todo, Que a mi mujer sí que le ha gustado. Acordaros que el skin lo tenéis en la descripción, que os dejo también el enlace a AZ8 por si queréis entrar y probarlo. Y si esto de AZ8 te ha picado la curiosidad y quieres ver otro vídeo brutal donde hice un vídeo de peleas medievales, pues aquí te dejo este otro vídeo de AZ8 que estoy seguro de que te va a encantar. Y ya me despido, nos vemos en el próximo tutorial.

Chao.

Let it drop.

Let it drop.

I'm my head, I'm my head, I'm my head.