메인 콘텐츠로 건너뛰기
Wan2.2-Fun-Camera-Control은 알리바바 PAI가 개발한 차세대 동영상 생성 및 카메라 제어 모델입니다. 혁신적인 카메라 제어 코드를 도입하고 딥러닝과 멀티모달 조건 입력을 결합해 미리 정의된 카메라 모션 조건을 준수하는 고품질 동영상을 생성합니다. 이 모델은 Apache 2.0 라이선스 하에 공개되어 상업적 사용이 가능합니다. 주요 특징:
  • 카메라 모션 제어: 다양한 카메라 모션 모드를 지원하며, Pan Up, Pan Down, Pan Left, Pan Right, Zoom In, Zoom Out 및 이들의 조합을 포함합니다.
  • 고품질 동영상 생성: Wan2.2 아키텍처를 기반으로 영화 같은 품질의 동영상을 출력합니다.
다음은 관련 모델 가중치와 코드 저장소입니다:

​
Wan2.2 Fun 카메라 제어: 동영상 생성 워크플로우 예시

Make sure your ComfyUI is updated.Workflows in this guide can be found in the Workflow Templates. If you can’t find them in the template, your ComfyUI may be outdated. (Desktop version’s update will delay sometime)If nodes are missing when loading a workflow, possible reasons:
  1. You are not using the latest ComfyUI version (Nightly version)
  2. Some nodes failed to import at startup
제공되는 워크플로우는 두 가지 버전이 있습니다:
  1. Wan2.2-Lightning 4단계 LoRA를 lightx2v를 통해 사용하는 경우: 이 방식은 동영상 다이내믹스가 감소할 수 있지만 더 빠른 생성 속도를 제공합니다.
  2. 가속화된 LoRA 없이 fp8_scaled 버전을 사용하는 경우.
아래는 RTX4090D 24GB GPU에서 640×640 해상도, 81프레임 길이로 테스트한 타이밍 결과입니다:
모델 유형해상도VRAM 사용량첫 번째 생성 시간두 번째 생성 시간
fp8_scaled640×64084%≈ 536초≈ 513초
fp8_scaled + 4단계 LoRA640×64089%≈ 108초≈ 71초
4단계 LoRA는 초기 사용자 경험을 개선하지만 동영상 다이내믹스를 약간 떨어뜨릴 수 있습니다. 기본적으로 가속화된 LoRA 버전이 활성화되어 있습니다. 워크플로우를 전환하려면 노드를 선택한 후 Ctrl+B를 누르세요.

​
1. 워크플로우 및 자산 다운로드

아래 동영상 또는 JSON 파일을 다운로드해 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요. 워크플로우는 모델 다운로드를 요청합니다.

JSON 워크플로우 다운로드

 아래 이미지를 다운로드해 입력으로 사용하세요. 입력 시작 이미지

​
2. 모델 링크

다음 모델들은 Wan_2.2_ComfyUI_Repackaged에서 확인할 수 있습니다: 디퓨전 모델 Wan2.2-Lightning LoRA (선택사항, 가속화용) VAE 텍스트 인코더 파일 저장 위치 
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​
3. 워크플로우 단계별 완료하기

Wan2.2 Fun 카메라 제어 워크플로우 단계
이 워크플로우는 LoRA를 사용합니다. 디퓨전 모델과 LoRA가 일치하도록 하세요; 고노이즈 모델과 저노이즈 모델, 그리고 LoRA는 반드시 맞춰야 합니다.
  1. 고노이즈 모델 및 LoRA 로딩
  • Load Diffusion Model 노드가 wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors를 로드하도록 설정하세요.
  • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하도록 설정하세요.
  1. 저노이즈 모델 및 LoRA 로딩
  • Load Diffusion Model 노드가 wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors를 로드하도록 설정하세요.
  • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하도록 설정하세요.
  1. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors를 로드하도록 설정하세요.
  2. Load VAE 노드가 wan_2.1_vae.safetensors를 로드하도록 설정하세요.
  3. Load Image 노드에서 시작 프레임을 업로드하세요.
  4. 프롬프트를 수정하세요(중국어와 영어 모두 가능).
  5. WanCameraEmbedding 노드에서 카메라 제어 매개변수를 설정하세요:
    • 카메라 모션: 카메라 모션 유형 선택(Zoom In, Zoom Out, Pan Up, Pan Down, Pan Left, Pan Right, Static 등)
    • 너비/높이: 동영상 해상도 설정
    • 길이: 동영상 프레임 수 설정(기본값은 81프레임)
    • 속도: 동영상 속도 설정(기본값은 1.0)
  6. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 동영상 생성을 실행하세요.