ByteDance Seed Audio 1.0 - Generación universal de audio

Seed Audio 1.0 es el modelo de generación de audio universal de ByteDance, ahora disponible como nodo integrado en ComfyUI. A diferencia de los sistemas tradicionales de texto a voz, que solo leen palabras en voz alta, Seed Audio comprende todo el espectro del sonido. Puede generar voz, música, efectos de sonido, atmósferas ambientales y diálogos con varios hablantes a partir de un solo prompt de texto.

​

Para qué sirve Seed Audio 1.0

• Generación de audio multimodal: voz, música, efectos de sonido y audio ambiente a partir de un solo prompt. Describe lo que oyes y Seed Audio lo produce
• Clonación de voz: clona voces a partir de hasta 3 clips de referencia (etiquetados como @Audio1, @Audio2, @Audio3 en el prompt) para diálogos con varios personajes o una narración consistente
• Voces predefinidas: elige entre las voces integradas de TTS 2.0 cuando necesites una narración confiable y de alta calidad sin un clip de referencia
• Voz a partir de una imagen: deriva una voz de la imagen de un personaje, ajustando el tono y el estilo al sujeto visual
• Control detallado: ajusta la velocidad del habla, el tono, el volumen y la frecuencia de muestreo de forma independiente en cada generación
• Diálogo con varios hablantes: nombra a los personajes directamente en el prompt y Seed Audio se encarga de la asignación de voces, los turnos de palabra y la expresividad emocional
• Hasta 2 minutos por ejecución: genera clips de audio extensos, adecuados para narración, fragmentos de pódcast, doblaje de video y diseño sonoro

Con estas capacidades, Seed Audio 1.0 se adapta a una amplia variedad de casos de uso, como las locuciones de video, los dramas de audio con varios personajes, las demostraciones de producto, la narración para e-learning, los prototipos de audio para juegos y el contenido de accesibilidad.

​

Flujos de trabajo disponibles

​

Seed Audio 1.0: Texto a audio

Introduce un prompt de texto para generar voz hablada, diálogo, música de fondo y efectos de sonido en un solo archivo de audio.

​

Seed Audio 1.0: Texto + audio a audio

Sube un clip de audio de referencia y escribe un prompt de texto para clonar la voz en una nueva escena. Materiales de entrada Sube este archivo al nodo LoadAudio correspondiente:

​

Seed Audio 1.0: Texto + imagen a audio

Sube una imagen de un personaje y escribe un prompt de texto para generar audio con un estilo de voz que coincida con el sujeto visual. Materiales de entrada Sube este archivo al nodo LoadImage correspondiente:

​

Cómo usar Seed Audio 1.0 en ComfyUI

Seed Audio 1.0 se distribuye como el nodo integrado ByteDanceSeedAudio. Lo encuentras en el menú de nodos, dentro de ByteDance.

​

Elegir un modo de referencia

El nodo ofrece cuatro modos de referencia que determinan cómo se condiciona la voz generada:

​

Estructura del prompt

Para obtener los mejores resultados, estructura tu prompt para describir la escena de audio:

• Voz y emoción: describe el tono, la edad, el género, el acento o la entrega emocional
• Ambiente y fondo: describe el entorno acústico (estudio silencioso, calle concurrida, sala de conciertos)
• Efectos de sonido: describe sonidos específicos en el momento adecuado de la línea de tiempo
• Líneas de diálogo: escribe las líneas que se van a pronunciar y nombra a los personajes en escenas con varios hablantes

Ejemplo: narración con ambiente

Una voz masculina tranquila y cálida habla con confianza. Cae lluvia suave de fondo, con truenos lejanos ocasionales. “Seed Audio 1.0 genera habla natural con control total sobre el ritmo, el tono y la presencia.”

Ejemplo: diálogo con varios hablantes y referencias de audio

@Audio1 dice con nerviosismo, en un susurro bajo y rápido: “¿Viste eso?” @Audio2 responde con un deje lento y tranquilo: “¿Ver qué? Solo es el viento.” Ambiente de viento suave durante todo el audio.

​

Ajuste de parámetros

Después de conectar tus entradas, ajusta estos parámetros para obtener el resultado deseado:

• Velocidad del habla: predeterminado 0 (normal). Alcance de -50 (0.5x) a 100 (2.0x). Usa valores negativos para una narración relajada y positivos para locuciones energéticas
• Tono: desplazamiento en semitonos (-12 a +12). Útil para voces de personajes o para igualar un registro vocal específico
• Volumen: predeterminado 0 (normal). Alcance de -50 (0.5x) a 100 (2.0x). Ajusta para lograr un volumen constante entre distintos materiales de origen
• Frecuencia de muestreo: elige entre 8 kHz y 48 kHz. 24 kHz es un buen valor predeterminado para voz; 44.1 kHz o 48 kHz para música
• Semilla: controla si el nodo se vuelve a ejecutar; los resultados no son deterministas, sin importar el valor de la semilla

​

Casos límite y limitaciones

• Duración de los clips de referencia: los clips de audio de referencia tienen un límite de 30 segundos cada uno. Para material de referencia más largo, recorta o edita el clip antes de conectarlo
• Orden de las referencias de audio: las entradas de referencia deben conectarse de forma secuencial (1, 2, 3), sin espacios
• Límite de etiquetas: el máximo es de 3 etiquetas @AudioN por prompt
• Límite de caracteres: los prompts tienen un límite de 3000 caracteres
• Límite de duración: máximo 2 minutos de audio por ejecución

​

Empezar

1. Actualiza ComfyUI a la última versión
2. Agrega el nodo ByteDanceSeedAudio desde el menú de nodos, o abre una de las plantillas de flujo de trabajo de arriba
3. Elige tu modo de referencia y conecta las entradas
4. Escribe tu prompt describiendo la escena de audio y el diálogo
5. Ejecuta el flujo de trabajo