Saltar al contenido principal
Wan2.2-Fun-Inp es un modelo de generación de video controlado por fotograma inicial y final, lanzado por el equipo de Alibaba PAI. Admite la introducción de imágenes de fotograma inicial y final para generar videos de transición intermedios, lo que brinda a los creadores un mayor control creativo. El modelo se publica bajo la licencia Apache 2.0 y permite uso comercial. Características principales:
  • Control por fotograma inicial y final: admite la introducción de imágenes de fotograma inicial y final para generar videos de transición intermedios, lo que mejora la coherencia del video y la libertad creativa
  • Generación de video de alta calidad: basado en la arquitectura Wan2.2, produce videos con calidad de nivel cinematográfico
  • Soporte para múltiples resoluciones: permite generar videos en 512x512, 768x768, 1024x1024 y otras resoluciones para adaptarse a distintos escenarios
Versión del modelo:
  • Versión de alto rendimiento 14B: el tamaño del modelo supera los 32GB, ofrece mejores resultados pero exige mucha VRAM
A continuación se muestran los pesos del modelo y los repositorios de código correspondientes:

Repetición de la transmisión en vivo de Wan2.2 Fun InP & Control de ComfyOrg en YouTube

Ejemplo de flujo de trabajo de generación de video con fotograma inicial y final de Wan2.2 Fun Inp

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio
Este flujo de trabajo ofrece dos versiones:
  1. Una versión que usa el LoRA de 4 pasos Wan2.2-Lightning de lightx2v para acelerar la generación de video
  2. Una versión fp8_scaled sin LoRA de aceleración
A continuación se muestran los resultados de las pruebas con una GPU RTX4090D de 24GB de VRAM, a una resolución de 640x640 y con 81 fotogramas Como la aceleración con LoRA es significativa pero se pierde el dinamismo del video, los flujos de trabajo incluidos habilitan por defecto la versión con LoRA acelerado. Si quieres habilitar el otro flujo de trabajo, selecciónalo y usa Ctrl+B para activarlo.

1. Descargar el archivo del flujo de trabajo

Actualiza ComfyUI a la última versión y busca “Wan2.2 Fun Inp” en el menú Flujo de trabajo -> Explorar plantillas -> Video para cargar el flujo de trabajo. O bien, después de actualizar ComfyUI a la última versión, descarga el flujo de trabajo que aparece abajo y arrástralo a ComfyUI para cargarlo. Flujo de trabajo de Wan2.2 Fun Inp

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan2.2 Fun Inp” en la Biblioteca de plantillas
Usa los siguientes materiales como fotogramas inicial y final Materiales de entrada

video_wan2_2_14B_fun_inpaint_start_image.png

Fotograma inicial para la generación de video. Descarga y usa esta imagen, o reemplázala por una tuya.

video_wan2_2_14B_fun_inpaint_end_image.png

Fotograma final para la generación de video. Descarga y usa esta imagen, o reemplázala por una tuya.

2. Modelos

Todos los modelos que se usan en esta guía están disponibles aquí. Modelos de difusión

Ruido alto 14B FP8 Scaled

wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors: modelo de difusión de ruido alto para relleno inteligente de fotogramas inicial y final

Ruido bajo 14B FP8 Scaled

wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors: modelo de difusión de ruido bajo para relleno inteligente de fotogramas inicial y final
LoRA Lightning (opcional, para aceleración)

LoRA Lightning de 4 pasos para ruido alto

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors: LoRA de aceleración de 4 pasos para el modelo de ruido alto

LoRA Lightning de 4 pasos para ruido bajo

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors: LoRA de aceleración de 4 pasos para el modelo de ruido bajo
VAE

VAE Wan2.1

wan_2.1_vae.safetensors: VAE Wan2.1 para codificar y decodificar
Codificador de texto

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: codificador de texto FP8 escalado

3. Guía del flujo de trabajo

Imagen del paso del flujo de trabajo
Este flujo de trabajo usa LoRA. Asegúrate de que el modelo de difusión y la LoRA correspondientes coincidan.
  1. Carga del modelo de ruido alto y de LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue el archivo wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  2. Carga del modelo de ruido bajo y de LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue el archivo wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  3. Asegúrate de que el nodo Load CLIP cargue el modelo umt5_xxl_fp8_e4m3fn_scaled.safetensors
  4. Asegúrate de que el nodo Load VAE cargue el modelo wan_2.1_vae.safetensors
  5. Sube las imágenes del fotograma inicial y del fotograma final como materiales
  6. Introduce tu prompt en el grupo Prompt
  7. Ajusta el tamaño y la duración del video en el nodo WanFunInpaintToVideo
    • Ajusta los parámetros width y height. El valor predeterminado es 640. Usamos un tamaño más pequeño, pero puedes modificarlo según tus necesidades.
    • Ajusta length, que es el número total de fotogramas. Los fps del flujo de trabajo actual son 16. Por ejemplo, si quieres generar un video de 5 segundos, debes establecerlo en 5*16 = 80.
  8. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video