Saltar al contenido principal
Wan-Animate es un marco unificado para la animación y el reemplazo de personajes, desarrollado por el equipo de WAN. El modelo puede animar cualquier personaje a partir del video de un intérprete, replicando con precisión sus expresiones faciales y sus movimientos para generar videos de personajes muy realistas. También puede reemplazar los personajes de un video por personajes animados, conservando sus expresiones y movimientos y replicando la iluminación y el tono de color originales para una integración fluida con el entorno.

Aspectos destacados del modelo

  • Funcionalidad de doble modo: una sola arquitectura admite tanto la función de animación como la de reemplazo, lo que permite cambiar de operación fácilmente.
  • Control avanzado del movimiento corporal: utiliza señales de esqueleto alineadas espacialmente para replicar con precisión el movimiento del cuerpo.
  • Movimiento y expresión precisos: reproduce con exactitud los movimientos y las expresiones faciales del video de referencia.
  • Integración natural con el entorno: combina a la perfección el personaje reemplazado con el entorno del video original.
  • Generación fluida de videos largos: la generación iterativa garantiza un movimiento y un flujo visual constantes en videos extensos.

Repetición del stream de ComfyOrg Wan2.2 Animate

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio

Acerca del flujo de trabajo Wan2.2 Animate

Este flujo de trabajo admite dos modos: Mix (reemplaza a un personaje de un video con un personaje de una imagen de referencia) y Move (anima a un personaje usando el movimiento de un video de entrada).

Wan2.2 Animate, animación y reemplazo de personajes

Framework unificado de animación y reemplazo de personajes con replicación precisa de movimiento y expresiones. Vista previa del flujo de trabajo Wan2.2 Animate, Character Animation and Replacement

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Wan2.2 Animate” en la Biblioteca de plantillas
Materiales de entrada Sube estos archivos a los nodos correspondientes:

video_wan2_2_14B_animate_reference_image.png

Nodo LoadImage 10 · video_wan2_2_14B_animate_reference_image.png

video_wan2_2_14B_animate_original_video.mp4

Nodo LoadVideo 145 · video_wan2_2_14B_animate_original_video.mp4
video_wan2_2_14B_animate_reference_image.png

2. Enlaces de modelos

Todos los modelos que se usan en esta guía están disponibles aquí. Modelos de difusión

Wan2.2 Animate 14B FP8 (Kijai)

Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors: versión FP8 escalada del repositorio de Kijai

Wan2.2 Animate 14B BF16

wan2.2_animate_14B_bf16.safetensors: pesos originales del modelo en bf16
CLIP Vision

CLIP Vision H

clip_vision_h.safetensors: codificador CLIP Vision
LoRAs

LightX2V I2V 14B 4-Step LoRA

lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors: LoRA de aceleración de 4 pasos
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors: VAE de Wan2.1 para codificar y decodificar
Codificadores de texto

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: codificador de texto FP8 escalado

3. Instalar nodos personalizados

Descarga el siguiente archivo de flujo de trabajo y arrástralo a ComfyUI para cargar el flujo de trabajo. Si tienes ComfyUI-Manager instalado, puedes hacer clic en el botón Install missing nodes para instalar los nodos faltantes. Necesitas instalar los siguientes nodos personalizados: Si no sabes cómo instalar nodos personalizados, consulta Cómo instalar nodos personalizados

4. Instrucciones del flujo de trabajo

Wan2.2 Animate tiene dos modos: Mix y Move.
  • Mix: usa la imagen de referencia para reemplazar al personaje en el video.
  • Move: usa el movimiento del personaje del video de entrada para animar al personaje de la imagen de referencia (como en Wan2.2 Fun Control).

4.1 Modo Mix

Instrucciones del flujo de trabajo
  1. Si ejecutas este flujo de trabajo por primera vez, usa un tamaño pequeño para la generación de video, en caso de que no tengas suficiente VRAM para ejecutarlo y, debido a la limitación de WanAnimateToVideo, el ancho o el alto del video deben ser múltiplos de 16.
  2. Asegúrate de que todos los modelos estén cargados correctamente.
  3. Actualiza el prompt si quieres.
  4. Sube la imagen de referencia; el personaje de esta imagen será el personaje objetivo.
  5. Puedes usar los videos que proporcionamos como videos de entrada la primera vez; el nodo DWPose Estimator en comfyui_controlnet_aux preprocesará el video de entrada para obtener videos de control de pose y rostro.
  6. El Points Editor es de KJNodes; de forma predeterminada, este nodo no cargará el primer fotograma del video de entrada, por lo que debes ejecutar el flujo de trabajo una vez o subir el primer fotograma manualmente.
    • Debajo del nodo Points Editor, hemos añadido una nota sobre cómo funciona este nodo y cómo editarlo. Consúltala.
  7. El grupo “Video Extend” sirve para extender la duración del video de salida.
    • Cada Video Extend extenderá otros 77 fotogramas (alrededor de 4.8125 segundos).
    • Si tu video de entrada dura menos de 5s, es posible que no lo necesites.
    • Si quieres extenderlo más, debes copiar y pegar varias veces; debes conectar el batch_images del último Video Extend con el siguiente, y también el video_frame_offset del último Video Extend con el siguiente.
  8. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video.

4.2 Modo Move

Usamos subgraph en el flujo de trabajo Wan2.2 Animate; así puedes cambiar al modo Move: Subgraph Si quieres cambiar al modo Move, puedes desconectar las entradas background_video y character_mask del nodo Video Sampling and output(Subgraph).