Skip to main content
Wan2.2-Fun-Inp es un modelo de generación de video controlado por fotograma inicial y final, lanzado por el equipo de Alibaba PAI. Permite introducir imágenes de fotograma inicial y final para generar videos con la transición intermedia, lo que brinda a los creadores un mayor control creativo. El modelo se publica bajo la licencia Apache 2.0 y admite uso comercial. Características principales:
  • Control por fotograma inicial y final: permite introducir imágenes de fotograma inicial y final para generar videos con la transición intermedia, lo que mejora la coherencia del video y la libertad creativa
  • Generación de video de alta calidad: basado en la arquitectura Wan2.2, produce videos con calidad de nivel cinematográfico
  • Soporte para múltiples resoluciones: permite generar videos en 512x512, 768x768, 1024x1024 y otras resoluciones para adaptarse a distintos escenarios
Versión del modelo:
  • Versión de alto rendimiento 14B: el tamaño del modelo supera los 32GB, ofrece mejores resultados pero exige mucha VRAM
A continuación encontrarás los pesos del modelo y los repositorios de código relevantes:

​
Repetición de la transmisión en vivo de Wan2.2 Fun InP & Control de ComfyOrg en YouTube

​
Ejemplo de flujo de trabajo de video con fotograma inicial y final de Wan2.2 Fun Inp

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio
Este flujo de trabajo ofrece dos versiones:
  1. Una versión con el LoRA de 4 pasos Wan2.2-Lightning de lightx2v para acelerar la generación de video
  2. Una versión fp8_scaled sin LoRA de aceleración
A continuación se muestran los resultados de las pruebas con una GPU RTX4090D de 24 GB de VRAM a una resolución de 640x640 con 81 fotogramas Como la aceleración con LoRA es notable, pero se pierde dinamismo en el video, los flujos de trabajo incluidos activan por defecto la versión con LoRA de aceleración. Si quieres activar el otro flujo de trabajo, selecciónalo y usa Ctrl+B para habilitarlo.

​
1. Descarga el archivo del flujo de trabajo

Actualiza tu ComfyUI a la última versión y busca “Wan2.2 Fun Inp” en el menú Workflow -> Browse Templates -> Video para cargar el flujo de trabajo. O bien, después de actualizar ComfyUI a la última versión, descarga el flujo de trabajo de abajo y arrástralo a ComfyUI para cargarlo. Wan2.2 Fun Inp workflow

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan2.2 Fun Inp” en la Biblioteca de plantillas
Usa los siguientes materiales como fotogramas inicial y final Materiales de entrada

video_wan2_2_14B_fun_inpaint_start_image.png

Fotograma inicial para la generación del video. Descarga y usa esta imagen, o reemplázala por la tuya.

video_wan2_2_14B_fun_inpaint_end_image.png

Fotograma final para la generación del video. Descarga y usa esta imagen, o reemplázala por la tuya.

​
2. Modelos

Todos los modelos que se usan en esta guía están aquí. Modelos de difusión

High Noise 14B FP8 Scaled

wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors: Modelo de difusión de alto ruido para inpainting entre fotograma inicial y final

Low Noise 14B FP8 Scaled

wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors: Modelo de difusión de bajo ruido para inpainting entre fotograma inicial y final
LoRA Lightning (opcional, para acelerar)

Lightning 4-Step High Noise LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors: LoRA de aceleración de 4 pasos para el modelo de alto ruido

Lightning 4-Step Low Noise LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors: LoRA de aceleración de 4 pasos para el modelo de bajo ruido
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors: VAE de Wan2.1 para codificar y decodificar
Codificador de texto

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: Codificador de texto FP8 escalado

​
3. Guía del flujo de trabajo

Workflow Step Image
Este flujo de trabajo usa LoRA. Asegúrate de que el modelo de difusión y el LoRA correspondientes estén emparejados.
  1. Carga del modelo de alto ruido y del LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue el wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  2. Carga del modelo de bajo ruido y del LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue el wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  3. Asegúrate de que el nodo Load CLIP cargue el modelo umt5_xxl_fp8_e4m3fn_scaled.safetensors
  4. Asegúrate de que el nodo Load VAE cargue el modelo wan_2.1_vae.safetensors
  5. Sube las imágenes de fotograma inicial y final como materiales
  6. Escribe tu prompt en el grupo Prompt
  7. Ajusta el tamaño y la duración del video en el nodo WanFunInpaintToVideo
    • Ajusta los parámetros width y height. El valor predeterminado es 640. Nosotros hemos definido un tamaño más pequeño, pero puedes modificarlo según lo necesites.
    • Ajusta length, que es el número total de fotogramas. Los fps actuales del flujo de trabajo son 16. Por ejemplo, si quieres generar un video de 5 segundos, debes definirlo en 5*16 = 80.
  8. Haz clic en el botón Run, o usa el atajo Ctrl(cmd) + Enter, para ejecutar la generación del video