LTX-2 en ComfyUI: flujos de trabajo de audio y video sincronizados

LTX-2 es un modelo fundacional de audio y video basado en DiT, con 19B de parámetros, creado por Lightricks. Genera video y audio sincronizados en una sola pasada, creando experiencias cohesionadas en las que el movimiento, el diálogo, el ruido de fondo y la música surgen juntos.

​

Características clave

• Generación sincronizada de audio y video: Genera movimiento, diálogo, SFX y música juntos en una sola pasada
• Múltiples modos de generación: Texto a video, imagen a video y video a video
• Opciones de control: Control de video a video con Canny, Depth y Pose mediante IC-LoRAs
• Generación guiada por keyframes: Interpola entre imágenes de keyframe
• Upscale nativo: Ampliadores espaciales (2x) y temporales (2x) para mayor resolución y FPS
• Mejora de prompt: Soporte para mejora automática del prompt

​

Checkpoints de modelo

​

Primeros pasos

LTX-2 es compatible de forma nativa con ComfyUI. Para empezar:

1. Actualiza ComfyUI a la última versión
2. Ve a Biblioteca de plantillas > Video > elige cualquier flujo de trabajo de LTX-2
3. Sigue la ventana emergente para descargar los modelos y ejecutar el flujo de trabajo

​

Flujos de trabajo

​

Texto a video

Genera videos a partir de prompts de texto. Versión destilada (más rápida, 8 pasos):

​

Imagen a video

Genera videos a partir de una imagen de entrada. Materiales de entrada Versión destilada (más rápida, 8 pasos): Materiales de entrada

​

Control a video

Genera videos con control estructural usando IC-LoRAs. Control de profundidad: Materiales de entrada Control de Canny: Materiales de entrada Control de postura: Materiales de entrada

​

Consejos para escribir prompts

Al escribir prompts para LTX-2, céntrate en descripciones detalladas y cronológicas de acciones y escenas. Incluye movimientos, apariencias, ángulos de cámara y detalles del entorno específicos en un solo párrafo fluido. Comienza directamente con la acción y mantén las descripciones literales y precisas. Estructura tus prompts con:

• Acción principal en una sola frase
• Detalles específicos sobre movimientos y gestos
• Apariencia de personajes y objetos
• Detalles del fondo y del entorno
• Ángulos y movimientos de cámara
• Iluminación y colores
• Cualquier cambio o evento repentino

Mantén los prompts en un máximo de 200 palabras para obtener mejores resultados.

​

Recursos

• Repositorio de GitHub
• Modelo en Hugging Face
• Guía de prompts para LTX-2
• ComfyUI-LTXVideo