Cómo sustituir personajes y clonar voces en vídeo usando IA y N8N

¡Hola a todos! Bienvenidos a esta nueva lección. Hoy vamos a llevar nuestras automatizaciones a un nivel de cine. ¿Os imagináis coger un vídeo existente, cambiar al personaje que aparece por otro (usando solo una foto) y, para colmo, cambiarle también la voz?

Pues eso es exactamente lo que vamos a hacer hoy. En el ejemplo que vamos a trabajar, he cogido un vídeo del humorista José Mota y lo he transformado para que aparezca Wonder Woman con una voz femenina clonada. Todo esto, por supuesto, orquestado automáticamente con N8N.

¡Vamos manos a la obra!

Videotutorial Paso a Paso:

Aquí tienes el video completo donde realizo el proceso en tiempo real para que no te pierdas ningún detalle.

Descarga el Workflow de n8n de esta lección:

Comparto la hoja de cálculo de Google: https://docs.google.com/spreadsheets/d/1hnvP8SDhfHh6biSLLRffg25Nok4_lop8m7ksPAv0ZrM/edit?usp=sharing

1. Los ingredientes necesarios

Antes de abrir N8N, necesitamos preparar nuestros archivos. Para que la Inteligencia Artificial (IA) funcione, necesita tres cosas:

1. El vídeo original: El vídeo de referencia donde queremos hacer el cambio.
2. La foto del nuevo personaje: En mi caso, una foto de Wonder Woman.
3. El audio de referencia: Un archivo MP3 con la voz que queremos clonar (yo he usado una voz llamada «Clara» de ElevenLabs).

Consejo PRO: Para que la automatización funcione fluida, estos archivos deben estar en la nube. Puedes usar Google Drive, pero te recomiendo cloudinary.com. Es una herramienta gratuita que te permite subir tus archivos y obtener una URL directa (un enlace) para cada uno, que es justo lo que necesitamos pasarle a la IA.

2. Preparando el centro de mando: Google Sheets

Vamos a usar una hoja de cálculo de Google para organizar todo. Necesitamos crear una hoja con las siguientes columnas:

• ID: Un identificador único.
• Personaje: El nombre del personaje (ej. Wonder Woman).
• Video de Referencia: La URL del vídeo original.
• Imagen de Referencia: La URL de la foto del personaje nuevo.
• Audio de Referencia: La URL de la voz que queremos imitar.
• Estado: Aquí pondremos «Crear» para que la automatización sepa qué filas procesar.
• Output: Aquí se guardará el vídeo final.
• Tipo: Escribiremos «Replace» (reemplazar), ya que queremos cambiar al personaje manteniendo el fondo original.

3. La Automatización en N8N: Paso a Paso

Ahora nos vamos a N8N. La lógica general es:

1. Leemos los datos
2. Separamos el audio del vídeo
3. Transformamos ambas cosas por separado
4. Al final lo volvemos a unir.

Paso 1: Leer los datos

Empezamos con un nodo de Google Sheets. Lo configuramos para que lea nuestra hoja y filtre solo las filas donde el estado sea «Crear». Así obtenemos los enlaces de nuestros archivos.

Paso 2: Separar el audio del vídeo original

Necesitamos quitarle el audio al vídeo de José Mota para poder trabajar con él.

• Usamos un nodo HTTP Request para conectar con replicate.com donde nos da acceso a diferentes modelos de inteligencia artificial. Usamos un modelo llamado extract-audio de lucataco.
• Le enviamos tu video original y nos devuelve solo el archivo de sonido (MP3).
• Importante: Como la IA tarda unos segundos, usamos un bucle de espera (un nodo «Wait» y un «If») que pregunte cada 5 segundos si el archivo ya está listo. Cuando nos dé el «OK» (código 200), continuamos.

Paso 3: Transformación en dos caminos

Una vez tenemos el audio separado, el camino se divide en dos ramas que funcionan en paralelo:

Rama A: Cambiar al personaje (Video)

• Usamos un nodo HTTP Request conectando con la plataforma fal.ai. Esta plataforma nos da acceso a modelos de IA muy potentes de forma económica.
• Vamos a usar un modelo llamado wan animate, específicamente la función «move» dentro de la categoría de video (este modelo tiene dos funciones «Move» o «Replicate»). Ojo, elegimos la opción «Replace» (no «Move»), porque queremos conservar el fondo del vídeo original y solo cambiar la cara/cuerpo.
• Le enviamos: La URL del vídeo original y la URL de la foto de Wonder Woman.
• Al igual que antes, ponemos una pequeña espera hasta que la IA termine de generar el vídeo (sin audio).

Rama B: Cambiar la voz (Audio)

• Usamos otro nodo HTTP Request para conectarlo a fal.ai, específicamente al modelo Chatterbox/speech-to-speech.
• Le enviamos dos cosas: El audio que extrajimos del vídeo original (lo que dice José Mota) y el audio de la voz femenina (para que copie el timbre y tono).
• La IA generará un nuevo audio diciendo lo mismo que el original, pero con la voz de mujer.

Paso 4: La Fusión Final (Merge)

Ahora tenemos por un lado un vídeo mudo de Wonder Woman y por otro un audio con voz femenina. Toca unirlos.

1. Usamos un nodo Merge en N8N para esperar a que ambas ramas terminen.

Paso 5: El montaje final (FFmpeg)

Por último, necesitamos «pegar» el audio nuevo al video nuevo. Para no tener que editar manualmente, usamos un servicio de FFmpeg merge-audio-video a través de fal.ai.
Le enviamos:

• La URL del video del personaje.
• La URL del audio con la voz nueva.

La IA nos devuelve un archivo MP4 final con todo perfectamente sincronizado. Y, al igual que antes, guardamos este enlace final en nuestro Google Sheet.

Paso 6: Guardar el resultado

Finalmente, cuando la IA nos devuelva el enlace del vídeo ya montado:

• Usamos un nodo de Google Sheets para actualizar la fila correspondiente.
• Pegamos la URL del vídeo final en la columna «Output».
• Cambiamos el estado a «Hecho».

Conclusión

¡Y listo! Al ejecutar esto, verás cómo mágicamente aparece en tu hoja de cálculo el enlace a un vídeo nuevo donde el personaje y la voz han sido totalmente transformados.

Lo mejor de esto es que, una vez montado, solo tienes que rellenar filas en tu Excel con diferentes vídeos y fotos, y la automatización trabajará sola por ti.

Espero que os haya gustado esta lección y que os animéis a probarlo. ¡Nos vemos en el próximo vídeo!