Saltar al contenido principal
Fish Audio TTS te da control directo sobre cómo suena el habla mediante etiquetas en línea escritas en el propio texto. Esta guía cubre todas las categorías de etiquetas que entiende el modelo, dónde colocarlas y cómo combinarlas. Las etiquetas siguientes se aplican a s2.1-pro y s1. En cambio, Drama 3 usa instrucciones en lenguaje natural y etiquetas de palabras emparejadas, descritas en la página Fish Audio Drama 3. Los ejemplos siguientes funcionan en el nodo Fish Audio Text to Speech. Escríbelos directamente en el campo text, reemplazando el guion de ejemplo por el tuyo. Para configurar el nodo, las plantillas de flujo de trabajo y los precios, consulta Fish Audio: Texto a voz, clonación de voz y voz a texto.

Cómo funcionan las etiquetas

Los modelos Fish Audio S2 interpretan indicaciones en lenguaje natural escritas entre corchetes dentro de tu texto:
Tres propiedades hacen que este sistema sea flexible:
  • La posición determina el significado. Una etiqueta se aplica desde donde aparece hasta la siguiente etiqueta o el final de la oración. [whispering] I didn't want to go inside susurra toda la línea. I didn't want to go [whispering] inside empieza a susurrar en «inside».
  • Las descripciones libres funcionan. No estás limitado a un conjunto fijo de etiquetas. Si puedes describírselo a un actor de voz, escríbelo entre corchetes: [tired, end of a long shift], [voice rough from crying, trying to sound normal], [professional broadcast tone].
  • Las etiquetas funcionan en tu idioma. Escribe las indicaciones en el mismo idioma que tu guion: [低声说] 不要让他们听见, [ため息をついて] もう一度やり直そう.
El modelo clásico s1 usa los mismos nombres de emociones, pero los encierra entre paréntesis con un conjunto fijo de etiquetas: (happy) What a beautiful day! El modelo actual s2.1-pro acepta indicaciones entre corchetes y descripciones libres.

Etiquetas de emoción

Emociones básicas

Emociones avanzadas

Marcadores de tono

Los marcadores de tono controlan el volumen, la intensidad y el énfasis. Coloca [emphasis] justo antes de la palabra o frase que quieras destacar:

Efectos de audio

Las etiquetas de efectos de audio agregan sonidos humanos naturales. Después de la etiqueta, incluye el texto correspondiente cuando se sugiera:

Pausas y efectos especiales

Las palabras de pausa normales también marcan el ritmo sin necesidad de etiquetas: “um”, “uh”, “嗯”, “啊”.

Combinar etiquetas

Combina una etiqueta física con una etiqueta de emoción. Las etiquetas físicas como [panting] o [whispering] funcionan por sí solas, pero combinarlas con una emoción produce resultados más consistentes y naturales:
Combina varias emociones para expresiones complejas. Limita las combinaciones a tres etiquetas o menos por oración:
Escribe las transiciones de emoción como una progresión natural entre oraciones:
Agrega efectos de fondo para crear ambiente:
Modula la intensidad con modificadores descriptivos:

Buenas prácticas

Sí:
  • Usa una emoción principal por oración
  • Ajusta las emociones al contexto de forma lógica
  • Añade texto después de los efectos de sonido, por ejemplo “Ha ha” después de [laughing]
  • Espacia los cambios emocionales para lograr realismo
  • Prueba distintas combinaciones con la misma voz
No:
  • Abuses de las etiquetas en textos cortos
  • Mezcles emociones en conflicto dentro de una misma oración
  • Escribas descripciones entre corchetes tan largas que interrumpan el flujo
  • Dejes una etiqueta descriptiva sin texto después de ella
  • Alejes de la oración que controlan las indicaciones de emoción de nivel de oración
Si la salida suena poco natural, espacia los cambios emocionales, baja la intensidad o prueba con otra voz: la misma etiqueta suena distinto en voces diferentes.

Diálogo con varios hablantes

Conecta dos o más voces al nodo Fish Audio Texto a voz, luego marca los cambios de hablante en el texto con @Voice1, @Voice2, etc. Cada voz conectada debe aparecer en el texto al menos una vez; de lo contrario, el nodo genera un error. Las conexiones de voz se explican en Fish Audio: Texto a voz, clonación de voz y voz a texto.

Control de fonemas

Las etiquetas de fonemas especifican pronunciaciones exactas para nombres, homógrafos, siglas y términos técnicos. Encierra la pronunciación de reemplazo entre las etiquetas <|phoneme_start|> y <|phoneme_end|>. La normalización de texto conserva las etiquetas de fonemas, así que mantén normalize activado. Inglés (CMU Arpabet, reemplaza una palabra):
Chino (pinyin con número de tono, reemplaza un carácter o una sílaba, útil para caracteres polifónicos y nombres):
Japonés (romaji al estilo OpenJTalk con dígitos de acento tonal):
El control de fonemas se combina con otras etiquetas en el mismo texto:

Ajuste de parámetros

Los valores predeterminados están bien ajustados. Ajusta solo cuando lo necesites: El parámetro seed controla si el nodo se vuelve a ejecutar; los resultados no son deterministas, independientemente del valor de la semilla.

Calidad de la clonación de voz

Para el nodo Clonación instantánea de voz de Fish Audio, la calidad de la grabación de referencia decide el resultado. Los límites de grabación se explican en Fish Audio: Text to Speech, clonación de voz y Speech to Text:
  • Graba de 2 a 3 clips de 15 a 20 segundos cada uno, con menos de 270 segundos en total
  • Un solo hablante, volumen estable, tono y emoción uniformes
  • Pausas breves entre frases, de aproximadamente medio segundo
  • Una habitación silenciosa, con el micrófono a una mano de distancia de la boca
  • Sirve una grabadora de teléfono o el micrófono de unos auriculares; evita la música de fondo, la TV y el eco
Si la voz clonada suena robótica, graba más material, de 30 a 60 segundos en total, y habla con naturalidad, haciendo pausas. Clona solo voces que tengas permiso de usar: la tuya propia, o la de alguien que te haya dado permiso explícito.

Referencias