ComfyUI ACE-Step 原生示例

​

ACE-Step ComfyUI 文本到音频生成工作流示例

​

1. 工作流及相关模型下载

​

2. 按步骤完成工作流的运行

1. 确保 Load Checkpoints 节点加载了 ace_step_v1_3.5b.safetensors 模型
2. （可选）在 EmptyAceStepLatentAudio 节点上你可以设置生成音乐的时长
3. （可选）在 LatentOperationTonemapReinhard 节点，你可以调整 multiplier 来调整人声的音量大小（数字越大，人声音量越明显）
4. （可选）在 TextEncodeAceStepAudio 的 tags 输入对应的音乐风格等等
5. （可选）在 TextEncodeAceStepAudio 的 lyrics 中输入对应的歌词，如果你不知道该输入哪些歌词
6. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行音频的生成。
7. 工作流完成后，你可在 Save Audio 节点中查看生成的音频，你可以点击播放试听，对应的音频也会被保存至 ComfyUI/output/audio （由Save Audio节点决定子目录名称）。

​

ACE-Step ComfyUI 音频到音频工作流

​

1. 工作流文件下载

​

2. 按步骤完成工作流的运行

1. 确保 Load Checkpoints 节点加载了 ace_step_v1_3.5b.safetensors 模型
2. 在 LoadAudio 节点中上传提供的音频文件
3. （可选）在 TextEncodeAceStepAudio 的 tags 和 lyrics 中输入对应的音乐风格歌词等，提供歌词对于音频编辑来说非常重要
4. （可选）修改 Ksampler 节点的 denoise 参数，来调整采样过程中添加的噪声来调整与原始音频的相似程度，（越小与原始音频越相似，如果设置为 1.00则可以近似认为没有音频输入）
5. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行音频的生成。
6. 工作流完成后，你可在 Save Audio 节点中查看生成的音频，你可以点击播放试听，对应的音频也会被保存至 ComfyUI/output/audio （由Save Audio节点决定子目录名称）。

​

3. 工作流补充说明

1. 在 TextEncodeAceStepAudio 的 tags 中示例工作流中，将原本男声的 tags 修改为 female voice 来生成女声的音频
2. 在 TextEncodeAceStepAudio 的 lyrics 中示例工作流中，中对原本的歌词进行了调整修改，具体编辑你可以参考 ACE-Step 项目页面中的示例来了解如何完成修改

​

ACE-Step 提示词指南

• tags： 主要用来描述音乐的风格、场景等, 和我们平常其它生成的 prompt 类似，主要描述音频整体的风格和要求，使用英文逗号分隔
• lyrics： 主要用来描述歌词，支持歌词结构标签，如 [verse]（主歌）、[chorus]（副歌）和 [bridge]（过渡段）来区分歌词的不同部分，也可以在纯音乐情况下输入乐器名称

​

tags标签(prompt)

​

主流音乐风格

• electronic（电子音乐）
• rock（摇滚）
• pop（流行）
• funk（放克）
• soul（灵魂乐）
• cyberpunk（赛博朋克）
• Acid jazz（酸爵士）
• electro（电子）
• em（电子音乐）
• soft electric drums（软电鼓）
• melodic（旋律）

​

场景类型

• background music for parties（派对背景音乐）
• radio broadcasts（电台广播音乐）
• workout playlists（健身播放列表音乐）

​

乐器元素

• saxophone,
• azz（萨克斯风、爵士）
• piano, violin（钢琴、小提琴）

​

人声类型

• female voice（女声）
• male voice（男声）
• clean vocals（纯净人声）

​

专业用语

• 110 bpm（每分钟节拍数为110）
• fast tempo（快节奏）
• slow tempo（慢节奏）
• loops（循环片段）
• fills（填充音）
• acoustic guitar（木吉他）
• electric bass（电贝斯）

​

歌词（lyrics）

​

歌词结构标签

• [intro] (前奏)
• [verse] (主歌)
• [pre-chorus] (导歌)
• [chorus] (副歌/合唱)
• [bridge] (过渡段/桥段)
• [outro] (尾声)
• [hook] (钩子/主题旋律)
• [refrain] (重复段落)
• [interlude] (间奏)
• [breakdown] (分解段)
• [ad-lib] (即兴段落)

​

多语言支持

• ACE-Step V1 是支持多语言的，实际使用的时候 ACE-Step 会获取到对应的不同语言转换后的英文字母，然后进行音乐生成。
• 在 ComfyUI 中我们并没有完全实现全部多语言到英文字母的转换，目前仅实现了日语平假名和片假名字符 所以如果你需要使用多语言来进行相关的音乐生成，你需要首先将对应的语言转换成英文字母，然后在对应 lyrics 开头输入对应语言代码的缩写，比如中文[zh] 韩语 [ko] 等

[verse]

[zh]wo3zou3guo4shen1ye4de5jie1dao4
[zh]leng3feng1chui1luan4si1nian4de5piao4liang4wai4tao4
[zh]ni3de5wei1xiao4xiang4xing1guang1hen3xuan4yao4
[zh]zhao4liang4le5wo3gu1du2de5mei3fen1mei3miao3

[chorus]

[verse]​
[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae​
[ko]honja ogsang-eseo dalbich-ui eolyeompus-ileul balaboda​
[ko]niga salang-eun lideum-i ganghan eum-ag gatdago malhaess-eo​
[ko]han ta han tamada ma-eum-ui ondoga eolmana heojeonhanji ijge hae

[bridge]
[es]cantar mi anhelo por ti sin ocultar
[es]como poesía y pintura, lleno de anhelo indescifrable
[es]tu sombra es tan terca como el viento, inborrable
[es]persiguiéndote en vuelo, brilla como cruzar una mar de nubes

[chorus]
[fr]que tu sois le vent qui souffle sur ma main
[fr]un contact chaud comme la douce pluie printanière
[fr]que tu sois le vent qui s'entoure de mon corps
[fr]un amour profond qui ne s'éloignera jamais

• English
• Chinese: [zh]
• Russian: [ru]
• Spanish: [es]
• Japanese: [ja]
• German: [de]
• French: [fr]
• Portuguese: [pt]
• Italian: [it]
• Korean: [ko]

​

ACE-Step 相关资源

• 项目主页
• Hugging Face 模型
• GitHub 仓库
• 训练脚本