Wan Dancer: 음악에서 춤 비디오 생성

​

모델 하이라이트

• 오디오 기반 댄스 생성: 수동 키프레임이나 모션 캡처 없이 음악에서 직접 춤 동작을 생성합니다.
• 계층적 프레임워크: 일관된 신체 동작과 세부 움직임 정제를 위한 2단계 아키텍처(글로벌 및 로컬)
• 음악 동기화 출력: 춤 동작이 입력 오디오의 리듬과 템포에 자연스럽게 정렬됩니다.
• 스타일 제어: 구성 가능한 춤 스타일과 동작 강도로 창의적 방향 설정
• 분 단위 생성: 긴 형식의 일관된 춤 비디오를 생성하여 전체 시간에 걸쳐 시간적 일관성 유지

​

워크플로우 개요

​

Wan Dancer 워크플로

​

Wan Dancer: 음악을 춤으로

​

3. 모델 수동 다운로드

• wan2.2_dancer_14b_global_fp8_scaled.safetensors
• wan2.2_dancer_14b_local_fp8_scaled.safetensors

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

• umt5_xxl_fp16.safetensors

• clip_vision_h.safetensors

• Wan2_1_VAE_bf16.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_dancer_14b_global_fp8_scaled.safetensors
│   │   └─── wan2.2_dancer_14b_local_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp16.safetensors
│   ├───📂 clip_vision/
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── Wan2_1_VAE_bf16.safetensors

​

4. 워크플로 사용법

1. 참조 이미지 불러오기: 이미지 불러오기 노드를 사용하여 캐릭터 이미지를 업로드합니다. 기본 입력은 blue_dancer.png를 사용합니다.
2. 오디오 파일 불러오기: 오디오 불러오기 노드를 사용하여 음악 또는 오디오 트랙을 업로드합니다. 기본 입력은 wan_dancer_reference_audio.mp3를 사용합니다.
3. 댄스 파라미터 구성:
   • dance_style: 출력 비디오의 댄스 스타일을 선택합니다.
   • motion_amplitude: 댄스 동작의 강도를 제어합니다.
   • audio_duration: 입력 오디오의 길이와 일치하도록 설정합니다.
   • final_duration: 최종 출력 비디오 길이를 선택합니다.
4. 출력 크기 구성:
   • width와 height: 출력 비디오의 해상도를 설정합니다. GPU의 사용 가능한 VRAM에 적합한 값을 선택하세요.
5. 모델 경로 확인: 모델 선택 위젯이 올바른 모델 파일을 가리키는지 확인하세요.
   • global_model: wan2.2_dancer_14b_global_fp8_scaled.safetensors를 로드해야 함
   • local_model: wan2.2_dancer_14b_local_fp8_scaled.safetensors를 로드해야 함
   • lightning_lora: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors를 로드해야 함
   • clip_vision: clip_vision_h.safetensors를 로드해야 함
6. 생성 실행: 실행 버튼을 클릭하거나 단축키 Ctrl(Cmd) + Enter를 사용하여 비디오 생성을 실행합니다.

​

5. 출력

• 글로벌 출력 미리보기: 글로벌 모델로 생성된 전체 댄스 구조를 보여줍니다.
• 최종 출력: 로컬 모델 향상 후 정제된 댄스 비디오입니다.

​

모델 정보

• Comfy-Org/Wan-Dancer: Global 및 local diffusion 모델

​

문제 신고

• ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.
• 모든 필수 모델이 다운로드되어 올바른 디렉토리에 배치되었는지 확인하세요.
• 데스크톱/클라우드 사용자의 경우: 업데이트는 안정적인 릴리스를 따르므로, 최신 테스트 버전(nightly)이 지원하는 모델은 즉시 사용하지 못할 수 있습니다.