Ejemplos de Hunyuan Video en ComfyUI

• Arquitectura principal: utiliza una arquitectura DiT (Diffusion Transformer) similar a Sora, que fusiona de forma eficaz la información de texto, imagen y movimiento para mejorar la coherencia, la calidad y la alineación entre los fotogramas del video generado. Un mecanismo de atención completa unificado permite transiciones de cámara con múltiples vistas y, al mismo tiempo, garantiza la coherencia del sujeto.
• VAE 3D: el VAE 3D personalizado comprime los videos en un espacio latent compacto, lo que hace más eficiente la generación de imagen a video.
• Alineación superior entre imagen, video y texto: emplea codificadores de texto MLLM que destacan tanto en la generación de imágenes como de videos, siguen mejor las instrucciones de texto, capturan detalles y realizan razonamientos complejos.

​

Modelos comunes para todos los flujos de trabajo

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   └── vae/
│       └── hunyuan_video_vae_bf16.safetensors

​

Flujo de trabajo de texto a video con Hunyuan

​

1. Flujo de trabajo

​

2. Instalación manual de los modelos

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                       // Modelo compartido
│   │   └── llava_llama3_fp8_scaled.safetensors      // Modelo compartido
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors       // Modelo compartido
│   └── diffusion_models/
│       └── hunyuan_video_t2v_720p_bf16.safetensors  // Modelo T2V

​

3. Pasos para ejecutar el flujo de trabajo

1. Comprueba que el nodo DualCLIPLoader tenga cargados estos modelos:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Comprueba que el nodo Load Diffusion Model tenga cargado hunyuan_video_t2v_720p_bf16.safetensors
3. Comprueba que el nodo Load VAE tenga cargado hunyuan_video_vae_bf16.safetensors
4. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​

Flujo de trabajo de imagen a video de Hunyuan

• v1 “concat”: mejor fluidez de movimiento, pero menor adherencia a la orientación de la imagen
• v2 “replace”: actualizada al día siguiente de la v1, con mejor orientación de la imagen, pero al parecer menos dinámica en comparación con la v1

v1 “concat”

v2 “replace”

​

Modelo compartido para las versiones v1 y v2

​

Flujo de trabajo imagen a video V1 “concat”

​

1. Flujo de trabajo y recursos

​

2. Instalación manual de los modelos relacionados

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                     // Modelo compartido de I2V
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                  // Modelo compartido
│   │   └── llava_llama3_fp8_scaled.safetensors                 // Modelo compartido
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                  // Modelo compartido
│   └── diffusion_models/
│       └── hunyuan_video_image_to_video_720p_bf16.safetensors  // Modelo de la versión I2V v1 "concat"

​

3. Pasos para ejecutar el flujo de trabajo

1. Asegúrate de que DualCLIPLoader haya cargado estos modelos:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Asegúrate de que Load CLIP Vision haya cargado llava_llama3_vision.safetensors
3. Asegúrate de que Load Image Model haya cargado hunyuan_video_image_to_video_720p_bf16.safetensors
4. Asegúrate de que Load VAE haya cargado vae_name: hunyuan_video_vae_bf16.safetensors
5. Asegúrate de que Load Diffusion Model haya cargado hunyuan_video_image_to_video_720p_bf16.safetensors
6. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​

Flujo de trabajo de imagen a video v2 “replace”

​

1. Flujo de trabajo y recursos

​

2. Instalación manual de modelos relacionados

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                                // Modelo compartido de I2V
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                             // Modelo compartido
│   │   └── llava_llama3_fp8_scaled.safetensors                            // Modelo compartido
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                             // Modelo compartido
│   └── diffusion_models/
│       └── hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors  // Modelo de la versión v2 "replace"

​

3. Pasos para ejecutar el flujo de trabajo

1. Asegúrate de que el nodo DualCLIPLoader haya cargado estos modelos:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Asegúrate de que el nodo Load CLIP Vision haya cargado llava_llama3_vision.safetensors
3. Asegúrate de que el nodo Load Image Model haya cargado hunyuan_video_image_to_video_720p_bf16.safetensors
4. Asegúrate de que el nodo Load VAE haya cargado hunyuan_video_vae_bf16.safetensors
5. Asegúrate de que el nodo Load Diffusion Model haya cargado hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors
6. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​

Pruébalo tú mismo

Futuristic robot dancing ballet, dynamic motion, fast motion, fast shot, moving scene

Samurai waving sword and hitting the camera. camera angle movement, zoom in, fast scene, super fast, dynamic

flying car fastly moving and flying through the city

cyberpunk car race in night city, dynamic, super fast, fast shot