메인 콘텐츠로 건너뛰기

​
ComfyUI의 ACE-Step 1.5 소개

ACE-Step 1.5는 오픈소스 음악 생성 모델의 주요 업데이트로, 이제 ComfyUI에서 기본적으로 지원됩니다. 이 모델은 언어 모델이 옴니캐퍼블 플래너 역할을 하여 간단한 사용자 쿼리를 종합적인 곡 블루프린트로 변환하는 독창적인 하이브리드 아키텍처를 통해 로컬 머신에서도 상업급 품질을 제공합니다. ACE-Step 1.5 모델 주요 특징:
  • 상업급 품질: 대부분의 상업용 음악 모델을 뛰어넘는 품질을 달성하며, 음악적 일관성 점수는 4.72에 이릅니다.
  • 매우 빠른 생성 속도: RTX 5090에서는 약 1초 만에 4분짜리 곡을 완성하고, RTX 3090에서는 ComfyUI를 사용해 10초 이내에 생성 가능합니다.
  • 50개 이상의 언어 지원: 영어, 중국어, 일본어, 한국어, 스페인어, 독일어, 프랑스어, 포르투갈어, 이탈리아어, 러시아어 등 강력한 다국어 지원
  • LoRA 미세조정: ComfyUI에서 LoRA 학습을 통해 경량 개인화를 지원합니다.
ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.이 가이드의 워크플로우는 워크플로우 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다. (데스크톱 버전의 업데이트는 다소 지연될 수 있습니다)워크플로우를 로드할 때 노드가 누락되는 경우, 가능한 원인:
  1. 최신 ComfyUI 버전(야간 빌드)을 사용하고 있지 않음
  2. 일부 노드가 시작 시 가져오기에 실패함

​
옵션 1: 올인원 체크포인트 (권장)

AIO 버전은 모든 모델을 하나의 체크포인트 파일에 묶어 제공하므로 다운로드와 관리가 더욱 용이합니다.

​
AIO 워크플로우

Comfy Cloud에서 실행

AIO 워크플로우를 Comfy Cloud에서 바로 실행하세요.

워크플로우 다운로드

올인원 체크포인트 워크플로우를 로컬에서 사용하기 위해 다운로드하세요.

​
AIO 모델 다운로드

ace_step_1.5_turbo_aio.safetensors

올인원 체크포인트 파일 (대부분의 사용자에게 권장).
AIO 모델 저장 위치 
📂 ComfyUI/
├── 📂 models/
│   └── 📂 checkpoints/
│       └── ace_step_1.5_turbo_aio.safetensors

​
옵션 2: 분할 모델 파일

분할 버전은 개별 모델 구성 요소를 따로 다운로드할 수 있도록 합니다.

​
분할 워크플로우

Comfy Cloud에서 실행

분할 모델 워크플로우를 Comfy Cloud에서 바로 실행하세요.

워크플로우 다운로드

분할 모델 워크플로우를 로컬에서 사용하기 위해 다운로드하세요.

​
분할 모델 다운로드

acestep_v1.5_turbo.safetensors

디퓨전 모델.

qwen_0.6b_ace15.safetensors

텍스트 인코더 (0.6B).

qwen_1.7b_ace15.safetensors

텍스트 인코더 (1.7B).

ace_1.5_vae.safetensors

VAE 모델.
분할 모델 저장 위치 
📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── acestep_v1.5_turbo.safetensors
│   ├── 📂 text_encoders/
│   │   ├── qwen_0.6b_ace15.safetensors
│   │   └── qwen_1.7b_ace15.safetensors
│   └── 📂 vae/
│       └── ace_1.5_vae.safetensors

​
ComfyUI에서 ACE-Step 1.5 주요 기능

​
사고의 연쇄 계획

ACE-Step 1.5 모델은 사고의 연쇄 추론을 통해 메타데이터, 가사, 캡션을 합성하여 디퓨전 과정을 안내하며, 더 일관성 있는 장편 곡을 만들어냅니다.

​
하이브리드 LM + DiT 아키텍처

ACE-Step 1.5는 곡 구조를 계획하는 언어 모델과 오디오 합성을 담당하는 디퓨전 트랜스포머(DiT)를 결합하며, 모두 ComfyUI에서 기본적으로 실행됩니다.

​
곧 ComfyUI에 추가될 기능

다음 기능들은 ACE-Step 1.5에 포함되어 있지만 아직 ComfyUI에서는 지원되지 않습니다:
  • 커버: 모델에 어떤 곡이든 입력으로 주고 새로운 프롬프트와 가사를 제공하면, 모델이 전혀 다른 스타일로 곡을 재구성합니다.
  • 재페인팅: 특정 구간을 선택해 해당 부분만 다시 생성하고, 모델은 나머지 부분은 그대로 유지하면서 이를 다시 연결합니다.

​
ACE-Step 1.5 ComfyUI 관련 자료