Skip to main content
ATI (Any Trajectory Instruction) es un framework de generación de video controlable propuesto por el equipo de ByteDance. ATI se implementa sobre Wan2.1 y admite el control unificado de objetos, regiones locales y movimiento de cámara en videos mediante instrucciones de trayectoria arbitrarias.

Repositorio del proyecto

Código fuente y documentación de ATI en GitHub

Herramienta de edición de trayectorias en línea

Herramienta visual para dibujar y editar trayectorias de movimiento sobre imágenes

Funciones clave

  • Control de movimiento unificado: Admite control de trayectoria para varios tipos de movimiento, incluidos objetos, regiones locales y movimientos de cámara.
  • Editor de trayectorias interactivo: Herramienta visual que permite dibujar y editar libremente trayectorias de movimiento sobre las imágenes.
  • Compatible con Wan2.1: Basado en la implementación oficial de Wan2.1, compatible con entornos y estructuras de modelo.
  • Herramientas de visualización completas: Admite la visualización de trayectorias de entrada, videos de salida y superposiciones de trayectorias.

Ejemplo del flujo de trabajo de control de trayectoria WAN ATI

Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio

1. Descargar el flujo de trabajo

Actualiza ComfyUI a la última versión y luego descarga el archivo del flujo de trabajo y arrástralo a ComfyUI, o busca “Wan2.1 ATI” en la Biblioteca de plantillas en Workflow → Browse Templates → Video. Vista previa del flujo de trabajo Wan2.1 ATI

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar el flujo de trabajo

Descarga el JSON o busca “Wan2.1 ATI” en la Biblioteca de plantillas
Usaremos la siguiente imagen como entrada:

Imagen de entrada: video_wan_ati_input_image.jpg

Descarga la imagen de entrada predeterminada o usa tu propia imagen como fotograma inicial.

2. Instalar los modelos manualmente

Todos los modelos que se usan en esta guía están disponibles aquí. Modelo de difusión: elige una versión:

Modelo de difusión: Wan2_1-I2V-ATI-14B_fp8_e4m3fn.safetensors

Modelo de difusión Wan2.1 I2V ATI 14B (precisión fp8). Colócalo en ComfyUI/models/diffusion_models/
Codificadores de texto: elige una versión:

Codificador de texto: umt5_xxl_fp16.safetensors

Codificador de texto de precisión completa (mayor calidad, mayor tamaño). Colócalo en ComfyUI/models/text_encoders/

Codificador de texto: umt5_xxl_fp8_e4m3fn_scaled.safetensors

Codificador de texto FP8 (menor uso de VRAM). Colócalo en ComfyUI/models/text_encoders/
VAE

VAE: wan_2.1_vae.safetensors

Modelo VAE de Wan2.1. Colócalo en ComfyUI/models/vae/
CLIP Vision

CLIP Vision: clip_vision_h.safetensors

Modelo CLIP Vision para procesar imágenes de referencia. Colócalo en ComfyUI/models/clip_vision/
Ubicación de almacenamiento de archivos

3. Completar la ejecución del flujo de trabajo paso a paso

Diagrama de pasos del flujo de trabajo Sigue los pasos numerados de la imagen para asegurar una ejecución fluida del flujo de trabajo correspondiente.
  1. Verifica que el nodo Load Diffusion Model tenga cargado el modelo Wan2_1-I2V-ATI-14B_fp8_e4m3fn.safetensors
  2. Verifica que el nodo Load CLIP tenga cargado el modelo umt5_xxl_fp8_e4m3fn_scaled.safetensors
  3. Verifica que el nodo Load VAE tenga cargado el modelo wan_2.1_vae.safetensors
  4. Verifica que el nodo Load CLIP Vision tenga cargado el modelo clip_vision_h.safetensors
  5. Sube la imagen de entrada proporcionada en el nodo Load Image
  6. Edición de trayectoria: actualmente ComfyUI todavía no cuenta con un editor de trayectoria. Puedes usar el siguiente enlace para completar la edición de la trayectoria.
  7. Si necesitas modificar los prompts (positivo y negativo), haz los cambios en el nodo CLIP Text Encoder con el número 5
  8. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de video