ACE-Step 1.0 en ComfyUI: texto a música y edición de audio

Ejemplo de flujo de trabajo de generación de texto a audio con ACE-Step en ComfyUI

1. Descargar el flujo de trabajo y los modelos relacionados

2. Completar el flujo de trabajo paso a paso

1. Asegúrate de que el nodo Load Checkpoints haya cargado el modelo ace_step_v1_3.5b.safetensors
2. (Opcional) En el nodo EmptyAceStepLatentAudio, puedes establecer la duración de la música que se va a generar
3. (Opcional) En el nodo LatentOperationTonemapReinhard, puedes ajustar el multiplier para controlar el volumen de las voces (los números más altos dan como resultado voces más prominentes)
4. (Opcional) Introduce los estilos de música correspondientes, etc. en el campo tags de TextEncodeAceStepAudio
5. (Opcional) Introduce la letra correspondiente en el campo lyrics de TextEncodeAceStepAudio
6. Haz clic en el botón Run, o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de audio
7. Cuando el flujo de trabajo termine, puedes previsualizar el audio generado en el nodo Save Audio. Puedes hacer clic para reproducirlo y escucharlo, y el audio también se guardará en ComfyUI/output/audio (el subdirectorio lo determina el nodo Save Audio).

Flujo de trabajo de audio a audio con ACE-Step en ComfyUI

1. Descargar el archivo del flujo de trabajo

2. Completar el flujo de trabajo paso a paso

1. Asegúrate de que el nodo Load Checkpoints haya cargado el modelo ace_step_v1_3.5b.safetensors
2. Sube el archivo de audio proporcionado en el nodo LoadAudio
3. (Opcional) Introduce los estilos musicales y la letra correspondientes en los campos tags y lyrics de TextEncodeAceStepAudio. Proporcionar la letra es muy importante para la edición de audio
4. (Opcional) Modifica el parámetro denoise del nodo Ksampler para ajustar el ruido añadido durante el muestreo y controlar la similitud con el audio original (los valores más pequeños dan como resultado una mayor similitud con el audio original; establecerlo en 1.00 equivale aproximadamente a no tener entrada de audio)
5. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de audio
6. Cuando el flujo de trabajo termine, puedes previsualizar el audio generado en el nodo Save Audio. Puedes hacer clic para reproducirlo y escucharlo, y el audio también se guardará en ComfyUI/output/audio (el subdirectorio lo determina el nodo Save Audio).

3. Notas adicionales sobre el flujo de trabajo

1. En el flujo de trabajo de ejemplo, puedes cambiar tags en TextEncodeAceStepAudio de male voice a female voice para generar voces femeninas.
2. También puedes modificar lyrics en TextEncodeAceStepAudio para cambiar la letra y, con ello, el audio generado. Consulta los ejemplos de la página del proyecto ACE-Step para ver más detalles.

Guía de prompts de ACE-Step

• tags: se usan principalmente para describir estilos musicales, escenas, etc. De forma similar a los prompts que usamos para otras generaciones, describen sobre todo el estilo general y los requisitos del audio, y se separan con comas en inglés.
• lyrics: se usan principalmente para describir la letra y admiten etiquetas de estructura como [verse], [chorus] y [bridge] para distinguir las distintas partes de la letra. También puedes introducir nombres de instrumentos para música puramente instrumental.

Etiquetas (prompt)

Estilos musicales convencionales

• electronic
• rock
• pop
• funk
• soul
• cyberpunk
• Acid jazz
• electro
• em (electronic music)
• soft electric drums
• melodic

Tipos de escena

• background music for parties
• radio broadcasts
• workout playlists

Elementos instrumentales

• saxophone
• jazz
• piano, violin

Tipos de voz

• female voice
• male voice
• clean vocals

Términos profesionales

• 110 bpm (beats per minute is 110)
• fast tempo
• slow tempo
• loops
• fills
• acoustic guitar
• electric bass

Letra

Etiquetas de estructura de la letra

• [outro]
• [verse]
• [chorus]
• [bridge]

Soporte multilingüe

• ACE-Step V1 admite varios idiomas. Al usarlo, ACE-Step convierte los distintos idiomas a letras del alfabeto inglés y después genera la música.
• En ComfyUI no hemos implementado por completo la conversión de todos los idiomas a letras del alfabeto inglés. Actualmente solo están implementados los caracteres japoneses hiragana y katakana. Así que si necesitas usar varios idiomas para generar música, primero debes convertir el idioma correspondiente a letras del alfabeto inglés y luego introducir la abreviatura del código de idioma al principio de lyrics, por ejemplo chino [zh], coreano [ko], etc.

[verse]

[zh]wo3zou3guo4shen1ye4de5jie1dao4
[zh]leng3feng1chui1luan4si1nian4de5piao4liang4wai4tao4
[zh]ni3de5wei1xiao4xiang4xing1guang1hen3xuan4yao4
[zh]zhao4liang4le5wo3gu1du2de5mei3fen1mei3miao3

[chorus]

[verse]​
[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae​
[ko]honja ogsang-eseo dalbich-ui eolyeompus-ileul balaboda​
[ko]niga salang-eun lideum-i ganghan eum-ag gatdago malhaess-eo​
[ko]han ta han tamada ma-eum-ui ondoga eolmana heojeonhanji ijge hae

[bridge]
[es]cantar mi anhelo por ti sin ocultar
[es]como poesía y pintura, lleno de anhelo indescifrable
[es]tu sombra es tan terca como el viento, inborrable
[es]persiguiéndote en vuelo, brilla como cruzar una mar de nubes

[chorus]
[fr]que tu sois le vent qui souffle sur ma main
[fr]un contact chaud comme la douce pluie printanière
[fr]que tu sois le vent qui s'entoure de mon corps
[fr]un amour profond qui ne s'éloignera jamais

• Inglés
• Chino: [zh]
• Ruso: [ru]
• Español: [es]
• Japonés: [ja]
• Alemán: [de]
• Francés: [fr]
• Portugués: [pt]
• Italiano: [it]
• Coreano: [ko]

Recursos relacionados con ACE-Step

• Página del proyecto
• Hugging Face
• GitHub
• Scripts de entrenamiento