Wan2.1 FLF2V en ComfyUI: generación de video con primer y último fotograma

1. Control preciso del primer y último fotograma: la tasa de coincidencia de los fotogramas inicial y final alcanza el 98%, definiendo los límites del video mediante las escenas inicial y final, y rellenando de forma inteligente los cambios dinámicos intermedios para lograr transiciones de escena y efectos de transformación de objetos.
2. Generación de video estable y fluida: gracias al uso de características semánticas CLIP y mecanismos de atención cruzada, la tasa de vibración del video se reduce en un 37% en comparación con modelos similares, lo que garantiza transiciones naturales y fluidas.
3. Capacidades creativas multifuncionales: admite el embedding dinámico de subtítulos en chino e inglés y la generación de estilos anime, realista, fantástico y otros, adaptándose a distintas necesidades creativas.
4. Salida HD de 720p: genera directamente videos de 1280x720 sin posprocesamiento, adecuados para redes sociales y aplicaciones comerciales.
5. Soporte del ecosistema de código abierto: los pesos del modelo, el código y el marco de entrenamiento son totalmente de código abierto, lo que permite su despliegue en las principales plataformas de IA.

1. Arquitectura DiT: basada en modelos de difusión y en la arquitectura Diffusion Transformer, combinada con el mecanismo Full Attention para optimizar el modelado de dependencias espacio-temporales, garantizando la coherencia del video.
2. Codificador variacional causal 3D: la tecnología Wan-VAE comprime los fotogramas HD a 1/128 de su tamaño mientras conserva los detalles dinámicos sutiles, lo que reduce significativamente los requisitos de memoria.
3. Estrategia de entrenamiento en tres etapas: parte de un preentrenamiento a resolución 480P, escala gradualmente a 720P y equilibra la calidad de generación y la eficiencia computacional mediante una optimización por fases.

• Repositorio de GitHub: GitHub
• Página del modelo en Hugging Face: Hugging Face
• Comunidad ModelScope: ModelScope

​

Ejemplo del flujo de trabajo nativo de Wan2.1 FLF2V 720P en ComfyUI

​

1. Descargar los archivos del flujo de trabajo y los archivos de entrada relacionados

​

2. Instalar los modelos manualmente

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   └─── wan2.1_flf2v_720p_14B_fp16.safetensors           # o la versión FP8
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors           # o la versión que elijas
│   ├───📂 vae/
│   │   └─── wan_2.1_vae.safetensors
│   └───📂 clip_vision/
│       └─── clip_vision_h.safetensors   

​

3. Ejecutar el flujo de trabajo paso a paso

1. Asegúrate de que el nodo Load Diffusion Model haya cargado wan2.1_flf2v_720p_14B_fp16.safetensors o wan2.1_flf2v_720p_14B_fp8_e4m3fn.safetensors
2. Asegúrate de que el nodo Load CLIP haya cargado umt5_xxl_fp8_e4m3fn_scaled.safetensors
3. Asegúrate de que el nodo Load VAE haya cargado wan_2.1_vae.safetensors
4. Asegúrate de que el nodo Load CLIP Vision haya cargado clip_vision_h.safetensors
5. Sube el fotograma inicial al nodo Start_image
6. Sube el fotograma final al nodo End_image
7. (Opcional) Modifica los prompts positivo y negativo; se admiten tanto el chino como el inglés
8. (Importante) En WanFirstLastFrameToVideo usamos 7201280 como tamaño predeterminado, ya que es un modelo de 720P, por lo que usar un tamaño pequeño no dará buenos resultados. Usa un tamaño cercano a 7201280 para obtener una buena generación.
9. Haz clic en el botón Run, o usa el atajo Ctrl(cmd) + Enter, para ejecutar la generación de video