Skip to main content
Wan2.1-Fun-Control es un modelo de generación de video de código abierto del proyecto VideoX-Fun de Alibaba que sigue condiciones de control predefinidas en lugar de depender únicamente del texto del prompt. Puedes guiar la salida con mapas de bordes Canny, mapas de profundidad, esqueletos OpenPose, bordes geométricos MLSD o trayectorias de puntos. El modelo está disponible en dos tamaños: la versión de 1.3B (unos 19 GB) para un despliegue local ligero con menores requisitos de VRAM, y la versión de 14B (unos 47 GB de almacenamiento total del modelo, con los pesos de difusión en unos 32.8 GB) para resultados de mayor calidad. Ambas admiten predicción de video multirresolución a 512, 768 y 1024 píxeles, generan hasta 81 fotogramas (unos 5 segundos) a 16 fotogramas por segundo y aceptan prompts multilingües. ComfyUI ofrece soporte nativo para Wan2.1-Fun-Control.

​
Acerca de Wan2.1-Fun-Control

Wan2.1-Fun-Control es un proyecto de generación y control de video de código abierto desarrollado por el equipo de Alibaba. Introduce mecanismos innovadores de códigos de control (Control Codes) combinados con aprendizaje profundo y entradas condicionales multimodales para generar videos de alta calidad que cumplen con condiciones de control predefinidas. El proyecto se centra en guiar con precisión el contenido del video generado mediante condiciones de control multimodales. Actualmente, el modelo Fun Control admite diversas condiciones de control, como Canny (arte lineal), Depth, OpenPose (postura humana), MLSD (bordes geométricos) y control de trayectoria. El modelo también admite predicción de video multirresolución con opciones de 512, 768 y 1024 de resolución a 16 fotogramas por segundo, generando videos de hasta 81 fotogramas (aproximadamente 5 segundos) de duración. Versiones del modelo:
  • 1.3B Ligero: ideal para el despliegue local y la inferencia rápida con requisitos de VRAM más bajos
  • 14B Alto rendimiento: el tamaño del modelo alcanza los 32 GB o más, ofrece mejores resultados pero requiere más VRAM
Descarga de los pesos del modelo:

Wan2.1-Fun-1.3B-Control

Versión ligera, requisitos de VRAM más bajos

Wan2.1-Fun-14B-Control

Versión de alto rendimiento, tamaño del archivo de 32 GB o más, requisitos de VRAM más altos
Repositorio de código: VideoX-Fun ComfyUI ahora es compatible de forma nativa con el modelo Wan2.1 Fun Control. Antes de comenzar este tutorial, actualiza tu ComfyUI para asegurarte de usar una versión posterior a este commit. En esta guía proporcionamos dos flujos de trabajo:
  1. Un flujo de trabajo que usa solo nodos nativos de Comfy Core
  2. Un flujo de trabajo que usa nodos personalizados
Debido a las limitaciones actuales de los nodos nativos para el soporte de video, el flujo de trabajo solo con nodos nativos permite completar el proceso sin instalar nodos personalizados. Sin embargo, hemos comprobado que ofrecer una buena experiencia de usuario para la generación de video es complicado sin nodos personalizados, así que en esta guía incluimos ambas versiones del flujo de trabajo.
Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio

​
Instalación de modelos

Solo tienes que instalar estos modelos una vez. Las imágenes de los flujos de trabajo también contienen la información de descarga de los modelos, así que puedes elegir el método de descarga que prefieras. Los siguientes modelos están disponibles en Wan_2.1_ComfyUI_repackaged y Wan2.1-Fun Haz clic en los enlaces correspondientes para descargar. Si ya has usado flujos de trabajo de Wan, solo necesitas descargar los modelos de difusión. Modelos de difusión — elige 1.3B o 14B. La versión 14B tiene un tamaño de archivo mayor (32 GB) y requiere más VRAM:

wan2.1_fun_control_1.3B_bf16.safetensors

Modelo de difusión Wan2.1 Fun Control 1.3B — ligero, requiere menos VRAM

Wan2.1-Fun-14B-Control

Modelo de difusión Wan2.1 Fun Control 14B. Cámbiale el nombre a Wan2.1-Fun-14B-Control.safetensors después de descargarlo. Archivo de 32 GB o más, requiere más VRAM
Codificadores de texto — elige uno de los siguientes modelos (la precisión fp16 tiene un tamaño mayor y requiere más rendimiento):

umt5_xxl_fp16.safetensors

Codificador de texto UMT5 XXL — precisión fp16, tamaño mayor, mayor rendimiento

umt5_xxl_fp8_e4m3fn_scaled.safetensors

Codificador de texto UMT5 XXL — precisión fp8, tamaño menor, requiere menos rendimiento
VAE

wan_2.1_vae.safetensors

Modelo VAE de Wan2.1
CLIP Vision

clip_vision_h.safetensors

Modelo CLIP Vision para procesar imágenes de referencia
Ubicación de almacenamiento de archivos:

​
Flujo de trabajo nativo de ComfyUI

En este flujo de trabajo usamos videos convertidos a formato WebP, ya que el nodo Load Image no admite actualmente el formato mp4. También usamos Canny Edge para preprocesar el video original. Como muchos usuarios se topan con fallos de instalación y problemas de entorno al instalar nodos personalizados, esta versión del flujo de trabajo usa solo nodos nativos para garantizar una experiencia más fluida. Gracias a nuestros potentes autores de ComfyUI, que ofrecen nodos con muchas funciones. Si quieres consultar directamente la versión relacionada, mira Flujo de trabajo con nodos personalizados.

​
1. Descarga del archivo del flujo de trabajo

Flujo de trabajo nativo de Wan2.1 Fun Control

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga la imagen del flujo de trabajo y arrástrala a ComfyUI para cargarlo
Materiales de entrada

Imagen inicial: wan2.1_fun_control_start_frame.png

Fotograma inicial de entrada para el flujo de trabajo nativo. Descarga y usa esta imagen, o reemplázala por la tuya.

Video de control: 01-portrait_video.webp

Video de control de entrada en formato WebP para el flujo de trabajo nativo. El flujo de trabajo nativo requiere formato WebP porque Load Image no admite mp4.

​
2. Completa el flujo de trabajo paso a paso

Pasos del flujo de trabajo de Wan2.1 Fun Control
  1. Asegúrate de que el nodo Load Diffusion Model haya cargado wan2.1_fun_control_1.3B_bf16.safetensors
  2. Asegúrate de que el nodo Load CLIP haya cargado umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Asegúrate de que el nodo Load VAE haya cargado wan_2.1_vae.safetensors
  4. Asegúrate de que el nodo Load CLIP Vision haya cargado clip_vision_h.safetensors
  5. Sube el fotograma inicial al nodo Load Image (renombrado como Start_image)
  6. Sube el video de control al segundo nodo Load Image. Nota: este nodo actualmente no admite mp4, solo videos WebP
  7. (Opcional) Modifica el prompt (se admite inglés y chino)
  8. (Opcional) Ajusta el tamaño del video en WanFunControlToVideo, evitando dimensiones demasiado grandes
  9. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video

​
3. Notas de uso

  • Como debemos introducir en el nodo WanFunControlToVideo el mismo número de fotogramas que tiene el video de control, si el número de fotogramas especificado supera los fotogramas reales del video de control, los fotogramas sobrantes pueden mostrar escenas que no se ajustan a las condiciones de control. Abordaremos este problema en Flujo de trabajo con nodos personalizados
  • Evita establecer dimensiones demasiado grandes, ya que esto puede hacer que el muestreo sea muy lento. Prueba primero con imágenes más pequeñas y luego haz upscale
  • Usa tu imaginación para ampliar este flujo de trabajo añadiendo flujos de texto a imagen u otros tipos, y lograr así generación directa de texto a video o transferencia de estilo
  • Usa herramientas como ComfyUI-comfyui_controlnet_aux para obtener opciones de control más ricas

​
Flujo de trabajo con nodos personalizados

Necesitaremos instalar los siguientes dos nodos personalizados: Puedes usar ComfyUI Manager para instalar los nodos faltantes o seguir las instrucciones de instalación de cada paquete de nodos personalizados.

​
1. Descargar el archivo del flujo de trabajo

Flujo de trabajo Wan2.1 Fun Control

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan 2.1 ControlNet” en la biblioteca de plantillas
Materiales de entrada

Imagen inicial: wan2.1_fun_control_start_frame.png

Fotograma inicial de entrada para el flujo de trabajo con nodos personalizados. Descarga y usa esta imagen, o reemplázala por una propia.

Video de control: wan2.1_fun_control_control_video.mp4

Video de control de entrada en formato MP4 para el flujo de trabajo con nodos personalizados. El nodo personalizado Load Video admite el formato mp4.

​
2. Completar el flujo de trabajo paso a paso

Pasos del flujo de trabajo Wan2.1 Fun Control con nodos personalizados
La parte del modelo es esencialmente la misma. Si ya probaste el flujo de trabajo solo con nodos nativos, puedes subir directamente las imágenes correspondientes y ejecutarlo.
  1. Asegúrate de que el nodo Load Diffusion Model haya cargado wan2.1_fun_control_1.3B_bf16.safetensors
  2. Asegúrate de que el nodo Load CLIP haya cargado umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Asegúrate de que el nodo Load VAE haya cargado wan_2.1_vae.safetensors
  4. Asegúrate de que el nodo Load CLIP Vision haya cargado clip_vision_h.safetensors
  5. Sube el fotograma inicial al nodo Load Image
  6. Sube un video en formato mp4 al nodo personalizado Load Video(Upload). Ten en cuenta que el flujo de trabajo ha ajustado el frame_load_cap predeterminado
  7. Para la imagen actual, el DWPose Estimator solo usa la opción detect_face
  8. (Opcional) Modifica el prompt (se admiten tanto inglés como chino)
  9. (Opcional) Ajusta el tamaño del video en WanFunControlToVideo, evitando dimensiones demasiado grandes
  10. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video

​
3. Notas del flujo de trabajo

Gracias a los autores de la comunidad de ComfyUI por sus paquetes de nodos personalizados:
  • Este ejemplo usa Load Video(Upload) para admitir videos mp4
  • El video_info que se obtiene de Load Video(Upload) nos permite mantener los mismos fps en el video de salida
  • Puedes reemplazar DWPose Estimator por otros preprocesadores del paquete de nodos ComfyUI-comfyui_controlnet_aux
  • Los prompts admiten varios idiomas

​
Consejos de uso

Aplicar varios videos de control
  • Un consejo útil es que puedes combinar varias técnicas de preprocesamiento de imágenes y luego usar el nodo Image Blend para lograr el objetivo de aplicar varios métodos de control al mismo tiempo.
  • Puedes usar el nodo Video Combine de ComfyUI-VideoHelperSuite para guardar videos en formato mp4
  • Usamos SaveAnimatedWEBP porque actualmente no admitimos incrustar el flujo de trabajo en mp4 y algunos Nodos personalizados también pueden no admitir la incrustación del flujo de trabajo. Para conservar el flujo de trabajo en el video, elegimos el nodo SaveAnimatedWEBP.
  • En el nodo WanFunControlToVideo, control_video no es obligatorio, así que a veces puedes Saltar el uso de un video de control, primero Generar un video de tamaño muy pequeño como 320x320 y luego usarlo como Entrada de video de control para lograr resultados consistentes.
  • ComfyUI-WanVideoWrapper
  • ComfyUI-KJNodes