Fish Audio: texto a voz, clonación de voz y voz a texto en ComfyUI

Fish Audio es un servicio de IA de voz que abarca texto a voz, clonación de voz y voz a texto. En ComfyUI se distribuye como cuatro Nodos asociados: Text to Speech, Speech to Text, Voice Selector e Instant Voice Clone. Esta página recorre las plantillas de flujos de trabajo listas para usar y cómo conectar los nodos. Para la referencia completa de etiquetas en línea (emociones, tono, pausas, fonemas), consulta la guía de prompts de Fish Audio. El modelo de texto a voz más reciente, Drama 3, tiene su propia página: Fish Audio Drama 3.

​

Usar Fish Audio en ComfyUI

Los nodos asociados de Fish Audio están disponibles en el menú de nodos dentro de partner/audio/Fish Audio. Cuatro nodos cubren el flujo de trabajo:

• Fish Audio Text to Speech: convierte texto a voz y genera AUDIO.
• Fish Audio Speech to Text: transcribe audio a texto y genera text, language_code y segments_json.
• Fish Audio Voice Selector: selecciona una de las voces predefinidas o conecta cualquier modelo de voz de fish.audio mediante custom (el ID en https://fish.audio/m/<id>/); genera voice.
• Fish Audio Instant Voice Clone: crea una voz clonada privada a partir de grabaciones; genera voice.

​

Elegir un modelo

El parámetro model del nodo Fish Audio Text to Speech ofrece dos opciones:

• s2.1-pro (recomendado): admite varios hablantes mediante una lista que crece automáticamente de 0 a 5 entradas de voz.
• s1 (clásico): acepta una única entrada de voz opcional y usa la sintaxis de etiquetas de emoción entre paréntesis que se describe en la guía de prompts.

La documentación del modelo más reciente, drama-3, está en su propia página: Fish Audio Drama 3.

​

Conectar voces

La salida voice del Voice Selector o del Instant Voice Clone se conecta al nodo Text to Speech. El nombre de la entrada depende del modelo: s2.1-pro (recomendado) expone la entrada voices, que puede crecer (hasta 5 espacios de voz), mientras que s1 tiene una única entrada voice opcional. Con una voz conectada, el nodo la pasa internamente como reference_id. Con dos o más, el texto debe marcar a los hablantes con @Voice1, @Voice2, etc., y cada voz conectada debe aparecer al menos una vez en el texto; de lo contrario, el nodo genera un error. Consulta Diálogo con varios hablantes en la guía de prompts.

​

Límites de la clonación de voz

El nodo Instant Voice Clone acepta de 1 a 20 grabaciones, recomienda entre 10 y 30 segundos por clip y valida que la duración total no supere los 270 segundos. La opción enhance_audio_quality está habilitada de forma predeterminada. Para obtener consejos de grabación, consulta Calidad de la clonación de voz en la guía de prompts.

​

Cuenta y precios

Los nodos requieren iniciar sesión en una cuenta de ComfyUI y el cobro es por uso. Precios de referencia de los nodos: la función de texto a voz cuesta alrededor de $21.45 por 1M de bytes de texto, la de voz a texto cuesta $0.00858 por minuto y la clonación de voz es gratis.

​

Flujos de trabajo disponibles

Tres plantillas listas cubren los flujos principales de Fish Audio: texto a voz, clonación de voz a voz y voz a texto. Ábrelas desde la Biblioteca de plantillas en ComfyUI o ejecútalas directamente en Comfy Cloud. Las plantillas de clonación de voz y de voz a texto requieren ComfyUI 0.34.0 o posterior. Drama 3 tiene sus propias dos plantillas, descritas en la página de Drama 3.

​

Fish Audio: Text to Speech

Genera voz a partir de tu guion con una voz predefinida. Escribe tu texto con las etiquetas en línea de la guía de prompts y luego elige otra voz predefinida en el Voice Selector o conecta una voz clonada. Materiales de entrada Sube este archivo al nodo LoadAudio correspondiente:

​

Fish Audio: Voice Clone to Speech

Clona una voz a partir de una grabación corta y úsala para leer cualquier guion. Graba de 2 a 3 clips de 15 a 20 segundos, súbelos a través del nodo LoadAudio (o graba directamente en el nodo RecordAudio) y conecta la salida de Instant Voice Clone al nodo Text to Speech. Para consejos de grabación, consulta Calidad de la clonación de voz en la guía de prompts. Materiales de entrada Sube este archivo al nodo LoadAudio correspondiente:

​

Fish Audio: Speech to Text

Transcribe un clip de audio a texto. El idioma se detecta automáticamente entre más de 80 idiomas, y activar precise_timestamps devuelve los tiempos de inicio y fin de cada segmento como JSON, lo que resulta muy útil para subtítulos. Materiales de entrada Sube este archivo al nodo LoadAudio correspondiente:

​

Empezar

1. Actualiza ComfyUI a la última versión
2. Abre una plantilla de flujo de trabajo de las de arriba, o agrega los nodos de Fish Audio desde el menú de nodos en partner/audio/Fish Audio
3. Inicia sesión en tu cuenta de ComfyUI cuando se te solicite
4. Escribe tu guion con las etiquetas en línea de la guía de prompts
5. Ejecuta el flujo de trabajo y previsualiza o guarda el audio