Wan InfiniteTalk a video - ComfyUI Built-in Node Documentation

WanInfiniteTalkToVideo genera secuencias de video a partir de una entrada de audio. Utiliza un modelo de difusión de video, condicionado por características de audio extraídas de uno o dos hablantes, para producir una representación latente de un video de cabeza parlante. El nodo puede generar una secuencia nueva o extender una existente utilizando fotogramas anteriores como contexto de movimiento.

Entradas

Entradas comunes

Parámetro	Descripción	Tipo de datos	Requerido	Rango
`modo`	El modo de entrada de audio. `single_speaker` usa una sola entrada de audio. `two_speakers` habilita la entrada de audio adicional y las máscaras enumeradas en la sección Entradas de dos hablantes.	DYNAMIC_COMBO	Sí	`"single_speaker"` `"two_speakers"`
`modelo`	El modelo base de difusión de video.	MODEL	Sí	-
`parche de modelo`	El parche del modelo que contiene las capas de proyección de audio.	MODEL_PATCH	Sí	-
`positivo`	El condicionamiento positivo para guiar la generación.	CONDITIONING	Sí	-
`negativo`	El condicionamiento negativo para guiar la generación.	CONDITIONING	Sí	-
`vae`	El VAE utilizado para codificar imágenes hacia y desde el espacio latente.	VAE	Sí	-
`ancho`	El ancho del video de salida en píxeles. Debe ser divisible por 16. (predeterminado: 832)	INT	Sí	16 - MAX_RESOLUTION (step 16)
`alto`	El alto del video de salida en píxeles. Debe ser divisible por 16. (predeterminado: 480)	INT	Sí	16 - MAX_RESOLUTION (step 16)
`longitud`	El número de fotogramas a generar. (predeterminado: 81)	INT	Sí	1 - MAX_RESOLUTION (step 4)
`salida de clip visión`	Salida de visión CLIP opcional para condicionamiento adicional.	CLIP_VISION_OUTPUT	No	-
`imagen inicial`	Imagen inicial opcional para inicializar la secuencia de video.	IMAGE	No	-
`salida codificador de audio 1`	La salida principal del codificador de audio que contiene las características del primer hablante.	AUDIO_ENCODER_OUTPUT	Sí	-
`número de fotogramas de movimiento`	Número de fotogramas anteriores a usar como contexto de movimiento. (predeterminado: 9)	INT	Sí	1 - 33
`escala de audio`	Factor de escala aplicado al condicionamiento de audio. (predeterminado: 1.0)	FLOAT	Sí	-10.0 - 10.0
`fotogramas anteriores`	Fotogramas de video anteriores opcionales para extender desde ellos. Los últimos `motion_frame_count` fotogramas se usan como contexto de movimiento.	IMAGE	No	-

Entradas de dos hablantes

Las entradas de esta sección se muestran cuando mode está configurado en "two_speakers".

Parámetro	Descripción	Tipo de datos	Requerido	Rango
`audio_encoder_output_2`	La segunda salida del codificador de audio que contiene las características del segundo hablante.	AUDIO_ENCODER_OUTPUT	No	-
`mask_1`	Máscara para el primer hablante, requerida si se usan dos entradas de audio.	MASK	No	-
`mask_2`	Máscara para el segundo hablante, requerida si se usan dos entradas de audio.	MASK	No	-

Restricciones de parámetros:

Cuando mode está configurado en "two_speakers", audio_encoder_output_2, mask_1 y mask_2 son necesarios para la configuración del segundo hablante.
Si se proporciona audio_encoder_output_2, también deben proporcionarse tanto mask_1 como mask_2.
Si se proporcionan tanto mask_1 como mask_2, también debe proporcionarse audio_encoder_output_2.
Si se proporciona previous_frames, debe contener al menos tantos fotogramas como los especificados por motion_frame_count.

Salidas

Nombre de salida	Descripción	Tipo de datos
`modelo`	El modelo parcheado con el condicionamiento de audio aplicado.	MODEL
`positivo`	El condicionamiento positivo, posiblemente modificado con contexto adicional como una imagen inicial o la salida de visión CLIP.	CONDITIONING
`negativo`	El condicionamiento negativo, posiblemente modificado con contexto adicional.	CONDITIONING
`latente`	La secuencia de video generada en el espacio latente.	LATENT
`imagen recortada`	El número de fotogramas desde el inicio del contexto de movimiento que deben recortarse al extender una secuencia. Equivale a `motion_frame_count` cuando se proporciona `previous_frames`; de lo contrario, 0.	INT

Esta documentación fue generada por IA. Si encuentra algún error o tiene sugerencias de mejora, ¡no dude en contribuir! Editar en GitHub

Source fingerprint (SHA-256): b7359490c1de86d9c82122bc227295b3b7f8a3493f629365ae0f22f9f34d9a66

​Entradas

​Entradas comunes

​Entradas de dos hablantes

​Salidas

Entradas

Entradas comunes

Entradas de dos hablantes

Salidas