Saltar al contenido principal
Wan2.1-Fun-Control es un modelo de generación de video de código abierto del proyecto VideoX-Fun de Alibaba que sigue condiciones de control predefinidas en lugar de depender únicamente del texto del prompt. Puedes guiar la salida con mapas de bordes Canny, mapas de profundidad, esqueletos OpenPose, bordes geométricos MLSD o trayectorias de puntos. El modelo se ofrece en dos tamaños: la versión de 1.3B (unos 19 GB) para un despliegue local ligero con menores requisitos de VRAM, y la versión de 14B (unos 47 GB de almacenamiento total del modelo, con los pesos de diffusion en unos 32.8 GB) para obtener resultados de mayor calidad. Ambas admiten predicción de video multirresolución a 512, 768 y 1024 píxeles, generan hasta 81 fotogramas (unos 5 segundos) a 16 fotogramas por segundo y aceptan prompts multilingües. ComfyUI ofrece soporte nativo para Wan2.1-Fun-Control.

Acerca de Wan2.1-Fun-Control

Wan2.1-Fun-Control es un proyecto de generación y control de video de código abierto desarrollado por el equipo de Alibaba. Introduce mecanismos innovadores de Control Codes combinados con aprendizaje profundo y entradas condicionales multimodales para generar videos de alta calidad que se ajustan a condiciones de control predefinidas. El proyecto se centra en guiar con precisión el contenido del video generado mediante condiciones de control multimodales. Actualmente, el modelo Fun Control admite diversas condiciones de control, entre ellas Canny (arte lineal), Profundidad, OpenPose (postura humana), MLSD (bordes geométricos) y control de trayectoria. El modelo también admite predicción de video multirresolución con opciones de resolución de 512, 768 y 1024 a 16 fotogramas por segundo, generando videos de hasta 81 fotogramas (aproximadamente 5 segundos) de duración. Versiones del modelo:
  • 1.3B Ligera: adecuada para el despliegue local y la inferencia rápida con requisitos de VRAM más bajos
  • 14B De alto rendimiento: el tamaño del modelo alcanza 32GB+, ofrece mejores resultados pero requiere más VRAM
Descarga de los pesos del modelo:

Wan2.1-Fun-1.3B-Control

Versión ligera, requisitos de VRAM más bajos

Wan2.1-Fun-14B-Control

Versión de alto rendimiento, tamaño del archivo de 32GB+, requisitos de VRAM más altos
Repositorio de código: VideoX-Fun ComfyUI ahora es compatible de forma nativa con el modelo Wan2.1 Fun Control. Antes de comenzar este tutorial, actualiza tu ComfyUI para asegurarte de que usas una versión posterior a este commit. En esta guía proporcionamos dos flujos de trabajo:
  1. Un flujo de trabajo que usa solo nodos nativos de Comfy Core
  2. Un flujo de trabajo que usa Nodos Personalizados
Debido a las limitaciones actuales de los nodos nativos para el soporte de video, el flujo de trabajo solo con nodos nativos garantiza que los usuarios puedan completar el proceso sin instalar nodos personalizados. Sin embargo, hemos comprobado que ofrecer una buena experiencia de usuario para la generación de video es complicado sin nodos personalizados, así que en esta guía incluimos ambas versiones del flujo de trabajo.
Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio

Instalar los modelos

Solo necesitas instalar estos modelos una vez. Las imágenes de los flujos de trabajo también contienen la información de descarga de los modelos, así que puedes elegir el método de descarga que prefieras. Puedes encontrar los siguientes modelos en Wan_2.1_ComfyUI_repackaged y Wan2.1-Fun Haz clic en los enlaces correspondientes para descargarlos. Si ya has usado flujos de trabajo relacionados con Wan, solo necesitas descargar los modelos de difusión. Modelos de difusión: elige 1.3B o 14B. La versión 14B tiene un tamaño de archivo mayor (32GB) y requiere más VRAM:

wan2.1_fun_control_1.3B_bf16.safetensors

Modelo de difusión Wan2.1 Fun Control 1.3B: ligero, con menores requisitos de VRAM

Wan2.1-Fun-14B-Control

Modelo de difusión Wan2.1 Fun Control 14B. Renómbralo a Wan2.1-Fun-14B-Control.safetensors después de descargarlo. Tamaño de archivo de 32GB o más, mayores requisitos de VRAM
Codificadores de texto: elige uno de los siguientes modelos (la precisión fp16 tiene un tamaño mayor y mayores requisitos de rendimiento):

umt5_xxl_fp16.safetensors

Codificador de texto UMT5 XXL: precisión fp16, mayor tamaño, mayor rendimiento

umt5_xxl_fp8_e4m3fn_scaled.safetensors

Codificador de texto UMT5 XXL: precisión fp8, menor tamaño, menores requisitos de rendimiento
VAE

wan_2.1_vae.safetensors

Modelo VAE de Wan2.1
CLIP Vision

clip_vision_h.safetensors

Modelo CLIP Vision para procesar imágenes de referencia
Ubicación de almacenamiento de los archivos:

Flujo de trabajo nativo de ComfyUI

En este flujo de trabajo usamos videos convertidos a formato WebP, ya que el nodo Load Image todavía no admite el formato mp4. También usamos Canny Edge para preprocesar el video original. Como muchos usuarios se encuentran con fallos de instalación y problemas de entorno al instalar nodos personalizados, esta versión del flujo de trabajo usa solo nodos nativos para garantizar una experiencia más fluida. Gracias a nuestros grandes autores de ComfyUI, que ofrecen nodos con muchas funciones. Si quieres consultar directamente la versión relacionada, ve a Flujo de trabajo con nodos personalizados.

1. Descargar el archivo del flujo de trabajo

Flujo de trabajo nativo de Wan2.1 Fun Control

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga la imagen del flujo de trabajo y arrástrala a ComfyUI para cargarlo
Materiales de entrada

Imagen inicial: wan2.1_fun_control_start_frame.png

Fotograma inicial de entrada para el flujo de trabajo nativo. Descarga y usa esta imagen, o reemplázala por la tuya.

Video de control: 01-portrait_video.webp

Video de control de entrada en formato WebP para el flujo de trabajo nativo. El flujo de trabajo nativo requiere formato WebP porque Load Image no admite mp4.

2. Completar el flujo de trabajo paso a paso

Pasos del flujo de trabajo de Wan2.1 Fun Control
  1. Asegúrate de que el nodo Load Diffusion Model haya cargado wan2.1_fun_control_1.3B_bf16.safetensors
  2. Asegúrate de que el nodo Load CLIP haya cargado umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Asegúrate de que el nodo Load VAE haya cargado wan_2.1_vae.safetensors
  4. Asegúrate de que el nodo Load CLIP Vision haya cargado clip_vision_h.safetensors
  5. Sube el fotograma inicial al nodo Load Image (renombrado como Start_image)
  6. Sube el video de control al segundo nodo Load Image. Nota: este nodo no admite mp4 por ahora, solo videos WebP
  7. (Opcional) Modifica el prompt (se admiten inglés y chino)
  8. (Opcional) Ajusta el tamaño del video en WanFunControlToVideo, evitando dimensiones demasiado grandes
  9. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación del video

3. Notas de uso

  • Como debemos introducir en el nodo WanFunControlToVideo el mismo número de fotogramas que tiene el video de control, si la cantidad de fotogramas especificada supera la del video de control real, los fotogramas sobrantes pueden mostrar escenas que no se ajustan a las condiciones de control. Abordaremos este problema en Flujo de trabajo con nodos personalizados
  • Evita establecer dimensiones demasiado grandes, ya que esto puede hacer que el muestreo lleve mucho tiempo. Prueba a generar primero imágenes más pequeñas y luego escálalas
  • Usa tu imaginación para ampliar este flujo de trabajo añadiendo flujos de texto a imagen u otros tipos, y lograr así generación directa de texto a video o transferencia de estilo
  • Usa herramientas como ComfyUI-comfyui_controlnet_aux para tener opciones de control más variadas

Flujo de trabajo con Nodos Personalizados

Necesitas instalar los siguientes dos nodos personalizados: Puedes usar ComfyUI Manager para instalar nodos faltantes o seguir las instrucciones de instalación de cada paquete de nodos personalizados.

1. Descargar el archivo del flujo de trabajo

Flujo de trabajo de Wan2.1 Fun Control

Ejecutar en Comfy Cloud

Open in Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan 2.1 ControlNet” en la Biblioteca de plantillas
Materiales de entrada

Imagen inicial: wan2.1_fun_control_start_frame.png

Fotograma inicial de entrada para el flujo de trabajo con nodos personalizados. Descarga y usa esta imagen, o reemplázala por la tuya.

Video de control: wan2.1_fun_control_control_video.mp4

Video de control de entrada en formato MP4 para el flujo de trabajo con nodos personalizados. El nodo personalizado Load Video admite el formato mp4.

2. Completar el flujo de trabajo paso a paso

Pasos del flujo de trabajo de Wan2.1 Fun Control con Nodos Personalizados
La parte de los modelos es prácticamente la misma. Si ya probaste el flujo de trabajo con nodos nativos, puedes subir directamente las imágenes correspondientes y ejecutarlo.
  1. Asegúrate de que el nodo Load Diffusion Model tenga cargado wan2.1_fun_control_1.3B_bf16.safetensors
  2. Asegúrate de que el nodo Load CLIP tenga cargado umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Asegúrate de que el nodo Load VAE tenga cargado wan_2.1_vae.safetensors
  4. Asegúrate de que el nodo Load CLIP Vision tenga cargado clip_vision_h.safetensors
  5. Sube el fotograma inicial al nodo Load Image
  6. Sube un video en formato mp4 al nodo personalizado Load Video(Upload). Ten en cuenta que el flujo de trabajo ha ajustado el frame_load_cap predeterminado
  7. Para la imagen actual, DWPose Estimator solo usa la opción detect_face
  8. (Opcional) Modifica el prompt (se admiten inglés y chino)
  9. (Opcional) Ajusta el tamaño del video en WanFunControlToVideo, evitando dimensiones demasiado grandes
  10. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video

3. Notas del flujo de trabajo

Gracias a los autores de la comunidad de ComfyUI por sus paquetes de nodos personalizados:
  • Este ejemplo usa Load Video(Upload) para admitir videos mp4
  • El video_info que se obtiene de Load Video(Upload) permite mantener el mismo fps en el video de salida
  • Puedes reemplazar DWPose Estimator por otros preprocesadores del paquete de nodos ComfyUI-comfyui_controlnet_aux
  • Los prompts admiten varios idiomas

Consejos de uso

Aplicar varios videos de control
  • Un consejo útil: puedes combinar varias técnicas de preprocesamiento de imágenes y luego usar el nodo Image Blend para aplicar varios métodos de control al mismo tiempo.
  • Puedes usar el nodo Video Combine de ComfyUI-VideoHelperSuite para guardar videos en formato mp4.
  • Usamos SaveAnimatedWEBP porque actualmente no admitimos incrustar el flujo de trabajo en mp4 y es posible que algunos nodos personalizados tampoco lo admitan. Para conservar el flujo de trabajo en el video, elegimos el nodo SaveAnimatedWEBP.
  • En el nodo WanFunControlToVideo, control_video no es obligatorio, así que a veces puedes omitir el video de control: primero genera un video de tamaño muy pequeño, como 320x320, y luego úsalo como entrada de video de control para obtener resultados consistentes.
  • ComfyUI-WanVideoWrapper
  • ComfyUI-KJNodes