Saltar al contenido principal
Wan2.2-Fun-Control es un modelo de generación y control de video de nueva generación lanzado por el equipo de Alibaba PAI. Gracias a un innovador mecanismo de Control Codes combinado con aprendizaje profundo y entradas condicionales multimodales, puede generar videos de alta calidad que respetan las condiciones de control predefinidas. El modelo se publica bajo la licencia Apache 2.0 y admite uso comercial. Características principales:
  • Control multimodal: admite varias condiciones de control, como Canny (arte lineal), Profundidad, OpenPose (pose humana), MLSD (bordes geométricos) y control de trayectoria
  • Generación de video de alta calidad: basado en la arquitectura Wan2.2, produce videos con calidad cinematográfica
  • Compatibilidad con varios idiomas: admite prompts en varios idiomas, incluidos el chino y el inglés
A continuación, los pesos del modelo y los repositorios de código relevantes:

Repetición de la transmisión en vivo de Wan2.2 Fun InP y Control de ComfyOrg en YouTube

Ejemplo de flujo de trabajo de generación de video con Wan2.2 Fun Control

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio
Este flujo de trabajo ofrece dos versiones:
  1. Una versión que usa el LoRA de 4 pasos de Wan2.2-Lightning de lightx2v: puede causar cierta pérdida en el dinamismo del video, pero ofrece mayor velocidad
  2. Una versión fp8_scaled sin LoRA de aceleración
Estos son los resultados de las pruebas con una GPU RTX4090D de 24 GB de VRAM a una resolución de 640×640 con 81 fotogramas: Como el LoRA de 4 pasos ofrece una mejor experiencia a quienes usan el flujo de trabajo por primera vez, pero puede causar cierta pérdida en el dinamismo del video, hemos habilitado la versión con LoRA de aceleración de forma predeterminada. Si quieres habilitar el otro flujo de trabajo, selecciónalo y usa Ctrl+B para activarlo.

1. Descargar el flujo de trabajo y los materiales

Actualiza tu ComfyUI a la última versión y luego descarga el archivo del flujo de trabajo y arrástralo a ComfyUI, o busca “Wan2.2 Fun Control” en la Biblioteca de plantillas, en Workflow → Browse Templates → Video. Flujo de trabajo de Wan2.2 Fun Control

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan2.2 Fun Control” en la Biblioteca de plantillas
Descarga las siguientes imágenes y videos como materiales de entrada. Materiales de entrada

video_wan2_2_14B_fun_control_start_image.jpg

Fotograma inicial para la generación del video. Descarga y usa esta imagen, o reemplázala por la tuya.

video_wan2_2_14B_fun_control_start_image_control_video.mp4

Video de control de pose preprocesado. Descarga y usa este video, o reemplázalo por el tuyo.
Aquí usamos un video preprocesado.

2. Modelos

Puedes encontrar todos los modelos de esta guía aquí. Modelos de difusión

Wan2.2 Fun Control High Noise 14B FP8

wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors: Modelo de difusión de ruido alto

Wan2.2 Fun Control Low Noise 14B FP8

wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors: Modelo de difusión de ruido bajo
LoRA Wan2.2-Lightning (opcional, para aceleración)

LoRA de 4 pasos para ruido alto

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors: LoRA de aceleración de 4 pasos para ruido alto

LoRA de 4 pasos para ruido bajo

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors: LoRA de aceleración de 4 pasos para ruido bajo
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors: VAE Wan2.1 para codificar y decodificar
Codificador de texto

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: Codificador de texto FP8 escalado

3. Guía del flujo de trabajo

Pasos del flujo de trabajo de Wan2.2 Fun Control
Este flujo de trabajo usa LoRA. Asegúrate de que el modelo de difusión y la LoRA correspondientes coincidan: los modelos y las LoRA de ruido alto y ruido bajo deben usarse de forma correspondiente.
  1. Carga del modelo de ruido alto y de la LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  2. Carga del modelo de ruido bajo y de la LoRA
    • Asegúrate de que el nodo Load Diffusion Model cargue el modelo wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
    • Asegúrate de que el nodo LoraLoaderModelOnly cargue wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  3. Asegúrate de que el nodo Load CLIP cargue el modelo umt5_xxl_fp8_e4m3fn_scaled.safetensors
  4. Asegúrate de que el nodo Load VAE cargue el modelo wan_2.1_vae.safetensors
  5. Sube el fotograma inicial en el nodo Load Image
  6. En el segundo nodo Load video, carga el video de control de pose. El video proporcionado ya está preprocesado y puedes usarlo directamente
  7. Dado que proporcionamos un video de pose preprocesado, debes deshabilitar el nodo correspondiente de preprocesamiento de imágenes de video. Puedes seleccionarlo y usar Ctrl + B para deshabilitarlo
  8. Modifica el prompt: puedes usar tanto chino como inglés
  9. En Wan22FunControlToVideo, modifica las dimensiones del video. La resolución predeterminada es de 640×640 para evitar tiempos de procesamiento excesivos en usuarios con poca VRAM
  10. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video

Notas adicionales

Como los nodos integrados de ComfyUI solo incluyen el preprocesador Canny, puedes usar herramientas como ComfyUI-comfyui_controlnet_aux para implementar otros tipos de preprocesamiento de imágenes.