Skip to main content
ACE-Step 1.5 es un modelo de generación de música de código abierto de ACE Studio y StepFun que convierte una descripción de texto y letras opcionales en una canción completa. ComfyUI lo ejecuta de forma nativa, así que puedes generar pistas completas localmente, desde bucles de 10 segundos hasta composiciones de varios minutos. En el núcleo del modelo hay un planificador de modelo de lenguaje combinado con un decodificador de audio Diffusion Transformer (DiT). El planificador expande una consulta simple en un plano de canción, sintetizando estructura, metadatos, letras y descripciones mediante razonamiento de cadena de pensamiento, y el DiT renderiza el audio. La alineación se apoya en los mecanismos internos del propio modelo en lugar de un modelo de recompensa externo o datos de preferencia humana. La generación es lo bastante rápida para sesiones interactivas: menos de 2 segundos para una canción completa en una A100 y menos de 10 segundos en una RTX 3090. La configuración de menos de 4 GB de VRAM ejecuta solo el DiT con el planificador LM desactivado. Entrenar un LoRA con unas pocas canciones es suficiente para capturar tu propio estilo.
Asegúrate de que tu ComfyUI esté actualizado.Los flujos de trabajo de esta guía se encuentran en las Plantillas de flujos de trabajo. Si no los encuentras en las plantillas, es posible que tu ComfyUI esté desactualizado.Si faltan nodos al cargar un flujo de trabajo, estas son las posibles razones:
  1. No estás usando la última versión de ComfyUI (versión nocturna)
  2. Algunos nodos fallaron al importarse durante el inicio
Puntos destacados del modelo:
  • Calidad de nivel comercial: Calidad superior a la de la mayoría de los modelos de música comerciales, con una puntuación de coherencia musical de 4.72
  • Generación rápida: Una canción completa en menos de 2 segundos en una A100, o menos de 10 segundos en una RTX 3090
  • Salida de formato largo: Duraciones desde 10 segundos hasta 10 minutos
  • Más de 50 idiomas: Buen soporte para inglés, chino, japonés, coreano, español, alemán, francés, portugués, italiano y ruso
  • Ajuste fino con LoRA: Personalización ligera mediante entrenamiento de LoRA en ComfyUI

​
Opción 1: Checkpoint todo en uno (recomendado)

La versión AIO empaqueta todos los modelos en un único archivo de checkpoint, lo que facilita su descarga y gestión.

​
ACE-Step 1.5 Music Generation AIO

Introduce etiquetas de estilo y una letra para generar una canción completa. El flujo de trabajo usa el modelo ACE-Step 1.5 para producir música con calidad comercial en menos de 10 segundos en hardware de consumo.

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “ACE-Step 1.5 Music Generation AIO” en la Biblioteca de plantillas

​
Descarga del modelo AIO

ace_step_1.5_turbo_aio.safetensors

Archivo de checkpoint todo en uno (recomendado para la mayoría de los usuarios).
Ubicación de almacenamiento del modelo AIO

​
Opción 2: Archivos de modelo separados

La versión dividida te permite descargar cada componente del modelo por separado.

​
ACE-Step 1.5 Music Generation Workflow

Introduce un prompt de texto que describa el estilo musical y, opcionalmente, una letra. Genera una canción de audio completa y de alta calidad en menos de 10 segundos en hardware de consumo.

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “ACE-Step 1.5 Music Generation Workflow” en la Biblioteca de plantillas

​
Descargas de los modelos separados

acestep_v1.5_turbo.safetensors

Modelo de difusión.

qwen_0.6b_ace15.safetensors

Codificador de texto (0.6B).

qwen_1.7b_ace15.safetensors

Codificador de texto (1.7B).

ace_1.5_vae.safetensors

Modelo VAE.
Ubicación de almacenamiento de los modelos separados

​
Características clave de ACE-Step 1.5 en ComfyUI

​
Planificación con Chain-of-Thought

El modelo ACE-Step 1.5 sintetiza metadatos, letra y captions mediante razonamiento Chain-of-Thought para guiar el proceso de difusión, lo que da como resultado composiciones largas más coherentes.

​
Arquitectura híbrida LM + DiT

ACE-Step 1.5 combina un modelo de lenguaje que planifica la estructura de la canción con un Diffusion Transformer (DiT) que se encarga de la síntesis de audio, todo ejecutándose de forma nativa en ComfyUI.

​
Próximamente en ComfyUI

Estas funciones están disponibles en ACE-Step 1.5, pero aún no son compatibles con ComfyUI:
  • Cover: Dale al modelo cualquier canción como entrada junto con un nuevo prompt y una letra, y reimaginará la pista en un estilo completamente diferente
  • Repaint: Selecciona un segmento, regenera solo esa sección y el modelo la vuelve a integrar mientras mantiene todo lo demás intacto

​
Recursos relacionados de ACE-Step 1.5 en ComfyUI