Wan2.2-S2V en ComfyUI: generación de video a partir de audio

• Generación de video a partir de audio: transforma imágenes estáticas y audio en videos sincronizados
• Calidad cinematográfica: genera videos con calidad de cine y expresiones y movimientos naturales
• Generación de varios minutos: admite la creación de videos de larga duración
• Soporte multiformato: funciona con personajes de cuerpo completo y de medio cuerpo
• Control de movimiento mejorado: genera acciones y entornos a partir de instrucciones de texto

​

Flujo de trabajo nativo de Wan2.2 S2V en ComfyUI

​

Generación de video a partir de audio con Wan2.2-S2V

​

2. Enlaces de modelos

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_s2v_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_s2v_14B_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 audio_encoders/ # Crea una si no encuentras esta carpeta
│   │   └─── wav2vec2_large_english_fp16.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. Instrucciones del flujo de trabajo

​

3.1 Acerca de Lightning LoRA

​

3.2 Acerca de los modelos fp8_scaled y bf16

​

3.3 Instrucciones de operación paso a paso

1. Cargar modelo de difusión: carga wan2.2_s2v_14B_fp8_scaled.safetensors o wan2.2_s2v_14B_bf16.safetensors
   • El flujo de trabajo incluido usa wan2.2_s2v_14B_fp8_scaled.safetensors, que requiere menos VRAM
   • Pero puedes probar wan2.2_s2v_14B_bf16.safetensors para reducir la degradación de calidad
2. Cargar CLIP: carga umt5_xxl_fp8_e4m3fn_scaled.safetensors
3. Cargar VAE: carga wan_2.1_vae.safetensors
4. AudioEncoderLoader: carga wav2vec2_large_english_fp16.safetensors
5. LoraLoaderModelOnly: carga wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors (Lightning LoRA)
   • Probamos todos los LoRA lightning de wan2.2. Como este no es un LoRA entrenado específicamente para Wan2.2 S2V, muchos valores clave no coinciden, pero lo añadimos porque reduce significativamente el tiempo de generación. Seguiremos optimizando esta plantilla
   • Usarlo provoca una pérdida notable de dinamismo y calidad
   • Si consideras que la calidad de salida es demasiado baja, puedes probar el flujo de trabajo original de 20 pasos
6. LoadAudio: sube el archivo de audio que proporcionamos o tu propio audio
7. Cargar imagen: sube la imagen de referencia
8. Tamaños de lote: configúralos según la cantidad de nodos de subgrafo Video S2V Extend que añadas
   • Cada subgrafo Video S2V Extend añade 77 fotogramas a la salida final
   • Por ejemplo: si añadiste 2 subgrafos Video S2V Extend, el tamaño de lote debe ser 3, lo que representa el número total de iteraciones de muestreo
   • Chunk Length: mantén el valor predeterminado de 77
9. Configuraciones del sampler: elige configuraciones distintas según si usas Lightning LoRA
   • Con Lightning LoRA de 4 pasos: steps: 4, cfg: 1.0
   • Sin Lightning LoRA de 4 pasos: steps: 20, cfg: 6.0
10. Configuraciones de tamaño: define las dimensiones del video de salida
11. Video S2V Extend: nodos de subgrafo de extensión de video. Como nuestro valor predeterminado de fotogramas por muestreo es 77 y este es un modelo de 16 fps, cada extensión generará 77 / 16 = 4.8125 segundos de video
    • Necesitas hacer algunos cálculos para que la cantidad de nodos de subgrafo de extensión de video coincida con la duración del audio de entrada. Por ejemplo: si el audio de entrada dura 14 s, el total de fotogramas necesarios es 14x16=224 y cada extensión de video son 77 fotogramas, así que necesitas 224/77 = 2.9, redondeado hacia arriba a 3 nodos de subgrafo de extensión de video
12. Usa Ctrl-Enter o haz clic en el botón Run para ejecutar el flujo de trabajo