메인 콘텐츠로 건너뛰기
Wan2.2-Fun-Control은 알리바바 PAI팀이 출시한 차세대 비디오 생성 및 제어 모델입니다. 혁신적인 Control Codes 메커니즘과 딥러닝, 다중 모달 조건 입력을 결합해 미리 설정된 제어 조건에 부합하는 고품질 비디오를 생성할 수 있습니다. 이 모델은 Apache 2.0 라이선스로 공개되며 상업적 사용도 지원합니다. 주요 특징:
  • 다중 모달 제어: Canny (라인 아트), Depth, OpenPose (인간 자세), MLSD (기하학적 에지), 그리고 궤적 제어를 포함한 여러 제어 조건을 지원합니다.
  • 고품질 비디오 생성: Wan2.2 아키텍처를 기반으로 영화급 품질의 비디오를 출력합니다.
  • 다국어 지원: 중국어와 영어를 포함한 다국어 프롬프트를 지원합니다.
아래는 관련 모델 가중치와 코드 저장소입니다:

​
ComfyOrg Wan2.2 펀 InP & 제어 유튜브 라이브 스트림 다시보기

​
Wan2.2 펀 컨트롤 비디오 생성 워크플로우 예시

Make sure your ComfyUI is updated.Workflows in this guide can be found in the Workflow Templates. If you can’t find them in the template, your ComfyUI may be outdated. (Desktop version’s update will delay sometime)If nodes are missing when loading a workflow, possible reasons:
  1. You are not using the latest ComfyUI version (Nightly version)
  2. Some nodes failed to import at startup
이 워크플로우는 두 가지 버전을 제공합니다:
  1. lightx2v의 Wan2.2-Lightning 4단계 LoRA를 사용한 버전: 비디오 역동성에 약간의 손실이 있을 수 있지만 속도가 더 빠릅니다.
  2. 가속화되지 않은 fp8_scaled 버전
아래는 RTX4090D 24GB VRAM GPU를 사용해 640×640 해상도, 81프레임에서의 테스트 결과입니다.
모델 유형VRAM 사용량첫 번째 생성 시간두 번째 생성 시간
fp8_scaled83%≈ 524초≈ 520초
fp8_scaled + 4단계 LoRA89%≈ 138초≈ 79초
첫 번째 워크플로우 사용자에게 더 나은 경험을 제공하지만 비디오 역동성에 약간의 손실이 있을 수 있으므로, 기본적으로 가속화된 LoRA 버전을 활성화했습니다. 다른 워크플로우를 활성화하려면 해당 옵션을 선택하고 Ctrl+B를 눌러 활성화하세요.

​
1. 워크플로우 및 자료 다운로드

아래 비디오 또는 JSON 파일을 다운로드해 ComfyUI로 드래그하여 워크플로우를 로드하세요.

JSON 워크플로우 다운로드

 다음 이미지와 비디오를 입력 자료로 다운로드해 주세요. 입력 시작 이미지
여기서는 사전 처리된 비디오를 사용합니다.

​
2. 모델

아래 모델들은 Wan_2.2_ComfyUI_Repackaged에서 확인하실 수 있습니다. 디퓨전 모델 Wan2.2-Lightning LoRA (선택사항, 가속화용) VAE 텍스트 인코더 
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​
3. 워크플로우 안내

Wan2.2 펀 컨트롤 워크플로우 단계
이 워크플로우는 LoRA를 사용합니다. 해당 디퓨전 모델과 LoRA가 일치하도록 확인해 주세요 - 고노이즈와 저노이즈 모델 및 LoRA는 각각 맞게 사용해야 합니다.
  1. 고노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하도록 확인하세요.
  2. 저노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하도록 확인하세요.
  3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하도록 확인하세요.
  4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하도록 확인하세요.
  5. Load Image 노드에서 시작 프레임을 업로드하세요.
  6. 두 번째 Load video 노드에서 포즈 제어 비디오를 로드하세요. 제공된 비디오는 사전 처리되었으므로 바로 사용 가능합니다.
  7. 사전 처리된 포즈 비디오를 제공하므로, 해당 비디오 이미지 전처리 노드는 비활성화해야 합니다. 해당 노드를 선택하고 Ctrl + B를 눌러 비활성화하세요.
  8. 프롬프트를 수정하세요 - 중국어와 영어 모두 사용 가능합니다.
  9. Wan22FunControlToVideo에서 비디오 크기를 수정하세요. 기본값은 640×640 해상도로 설정되어 있어 낮은 VRAM 사용자의 처리 시간을 줄여줍니다.
  10. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 비디오 생성을 실행하세요.

​
추가 참고사항

ComfyUI의 내장 노드에는 Canny 전처리기만 포함되어 있으므로, ComfyUI-comfyui_controlnet_aux와 같은 도구를 사용해 다른 종류의 이미지 전처리를 구현할 수 있습니다.