HeyGen Video 1.0 en ComfyUI: texto, imagen y referencia a video

HeyGen Video 1.0 es un modelo de video de propósito general de HeyGen que genera la imagen, la línea hablada y el ambiente en una sola pasada. Describes la toma y el diálogo en el prompt, y el clip vuelve con voz sincronizada, así que un video de presentador o de producto no necesita rodaje, ni presentador, ni un paso aparte de locución. En ComfyUI el modelo se ejecuta mediante dos nodos asociados. HeyGen Video 1.0 Reference to Video se encarga de texto a video por sí solo y de referencia a video una vez que conectas imágenes, videos o audio; HeyGen Video 1.0 Image to Video parte de un primer fotograma. Ambos son nodos API en la nube: requieren una cuenta de Comfy con créditos y no descargan ningún modelo local. Consulta Precios de los Nodos asociados para conocer las tarifas por segundo. Cada ejecución devuelve un clip de 5 a 15 segundos en 480p, 768p o 2K, con el diálogo, el tono ambiente y cualquier música ya incluidos en el video.

​

Flujos de trabajo disponibles

​

Texto a video

Genera un clip solo a partir de un prompt. El prompt incluye la acción, la línea hablada y el sonido, así que una sola ejecución del nodo devuelve un clip hablado finalizado. La plantilla de texto a video ejecuta el nodo Reference to Video sin nada conectado, que es el modo texto a video de ese nodo.

​

Imagen a video

Anima una imagen. La imagen es el primer fotograma del clip y la salida conserva su relación de aspecto, así que recorta la imagen cuando necesites una forma distinta. El prompt determina lo que ocurre y lo que se dice. Material de entrada

​

Referencia a video

Mantén la coherencia de personas, productos y lugares a lo largo de la toma conectándolos como referencias: hasta 9 imágenes, 3 videos y 3 clips de audio, 12 en total. Después, el prompt se refiere a ellos como @Image1, @Video1 y @Audio1, numerados por tipo en el orden de entrada. Materiales de entrada

​

Controles del nodo

El nodo Image to Video toma la imagen, el prompt, la duración, la resolución y la semilla. No tiene control de relación de aspecto, porque el primer fotograma define la forma del clip.

​

Consejos para escribir el prompt

• Escribe la línea hablada dentro del prompt. Pon el diálogo entre comillas como parte de la descripción de la toma, para que el modelo lo diga y sincronice el movimiento de los labios. Ambas plantillas incluyen prompts de ejemplo extensos que muestran la estructura: primero la toma y el sujeto, luego la línea entre comillas, y después el sonido y el lenguaje de cámara.
• Describe el sonido junto con la imagen. El tono ambiente de la sala, una pieza musical o el ruido que produce una acción se escriben en el prompt en lugar de configurarse con un control. Los prompts de ejemplo terminan con el ambiente, por ejemplo un tono de sala silencioso con un leve silbido de tetera, o un suave tintineo de vidrio al apoyar un objeto.
• Mantén la consistencia de un producto o un presentador. Conecta el producto o a la persona como imagen de referencia y nómbralo en el prompt, luego describe cómo debe mantenerse igual, por ejemplo conservando el color, las proporciones y los herrajes exactos de un bolso de @Image2.
• Define la toma con referencias. Con aspect_ratio en auto, el encuadre sigue a la primera imagen de referencia, así que la referencia que conectes primero decide la forma del video.
• Espera variaciones entre ejecuciones. La semilla no fija el resultado; las mismas configuraciones pueden producir una toma distinta.

​

Empezar

1. Actualiza ComfyUI a la última versión
2. Ve a la Biblioteca de plantillas y busca HeyGen Video 1.0