Skip to main content
Wan2.2-Fun-Camera-Control es un modelo de generación de video y control de cámara de nueva generación desarrollado por Alibaba PAI. Al introducir innovadores Camera Control Codes y combinar el aprendizaje profundo con entradas condicionales multimodales, genera videos de alta calidad que respetan las condiciones de movimiento de cámara predefinidas. El modelo se publica bajo la licencia Apache 2.0, lo que permite su uso comercial. Características principales:
  • Control de movimiento de cámara: admite varios modos de movimiento de cámara, como Pan Up, Pan Down, Pan Left, Pan Right, Zoom In, Zoom Out y combinaciones de estos.
  • Generación de video de alta calidad: basada en la arquitectura Wan2.2, produce videos con calidad cinematográfica.
A continuación, los pesos del modelo y el repositorio de código relevantes:

​
Wan2.2 Fun Camera Control: ejemplo de flujo de trabajo para generar video

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio
El flujo de trabajo incluido tiene dos versiones:
  1. Usar el LoRA de 4 pasos de Wan2.2-Lightning mediante lightx2v: puede reducir el dinamismo del video, pero ofrece una generación más rápida.
  2. La versión fp8_scaled sin el LoRA de aceleración.
A continuación, los tiempos medidos en una GPU RTX4090D de 24 GB con una resolución de 640*640 y una longitud de 81 fotogramas: Aunque el LoRA de 4 pasos mejora la experiencia inicial del usuario, puede reducir el dinamismo del video. De forma predeterminada, la versión acelerada con LoRA está habilitada. Para cambiar de flujo de trabajo, selecciona los nodos y presiona Ctrl+B.

​
1. Descargar el flujo de trabajo y los recursos

Descarga el video o el archivo JSON de abajo y arrástralo a ComfyUI para cargar el flujo de trabajo correspondiente. El flujo de trabajo te pedirá que descargues los modelos. Wan2.2 Fun Camera Control workflow

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan2.2 Fun Camera” en la biblioteca de plantillas
Descarga la imagen de abajo, que usaremos como entrada. Materiales de entrada

video_wan2_2_14B_fun_camera_start_image.jpg

Fotograma inicial para la generación del video. Descarga y usa esta imagen, o reemplázala por la tuya.

​
2. Enlaces de los modelos

Los siguientes modelos se encuentran en Wan_2.2_ComfyUI_Repackaged: Modelos de difusión

wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors

Modelo de difusión de alto ruido para Wan2.2 Fun Camera

wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors

Modelo de difusión de bajo ruido para Wan2.2 Fun Camera
LoRA Wan2.2-Lightning (opcional, para acelerar)

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors

LoRA de aceleración de 4 pasos para el modelo de alto ruido

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors

LoRA de aceleración de 4 pasos para el modelo de bajo ruido
VAE

wan_2.1_vae.safetensors

VAE de Wan2.1 para codificar y decodificar
Codificador de texto

umt5_xxl_fp8_e4m3fn_scaled.safetensors

Codificador de texto FP8 escalado
Ubicación de guardado de los archivos

​
3. Completar el flujo de trabajo paso a paso

Wan2.2 Fun Camera Control Workflow Steps
Este flujo de trabajo usa LoRA. Asegúrate de que el modelo de difusión y el LoRA sean coherentes; los modelos y LoRA de alto ruido y de bajo ruido deben emparejarse correctamente.
  1. Carga del modelo de alto ruido y del LoRA
  • Asegúrate de que el nodo Load Diffusion Model cargue wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
  • Asegúrate de que el nodo LoraLoaderModelOnly cargue wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  1. Carga del modelo de bajo ruido y del LoRA
  • Asegúrate de que el nodo Load Diffusion Model cargue wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
  • Asegúrate de que el nodo LoraLoaderModelOnly cargue wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  1. Asegúrate de que el nodo Load CLIP cargue umt5_xxl_fp8_e4m3fn_scaled.safetensors
  2. Asegúrate de que el nodo Load VAE cargue wan_2.1_vae.safetensors
  3. Sube el fotograma inicial en el nodo Load Image
  4. Modifica el prompt (se acepta tanto chino como inglés)
  5. Configura los parámetros de control de cámara en el nodo WanCameraEmbedding:
    • Camera Motion: selecciona el tipo de movimiento de cámara (Zoom In, Zoom Out, Pan Up, Pan Down, Pan Left, Pan Right, Static, etc.)
    • Width/Height: establece la resolución del video
    • Length: establece la cantidad de fotogramas del video (el valor predeterminado es 81 fotogramas)
    • Speed: establece la velocidad del video (el valor predeterminado es 1.0)
  6. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video