메인 콘텐츠로 건너뛰기
Wan2.2-Fun-Inp는 알리바바 PAI 팀이 출시한 시작-끝 프레임 제어 동영상 생성 모델입니다. 이 모델은 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 크리에이터들이 더욱 창의적인 제어를 할 수 있도록 지원합니다. 이 모델은 Apache 2.0 라이선스로 배포되며 상업적 사용도 가능합니다. 주요 특징:
  • 시작-끝 프레임 제어: 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 동영상의 일관성과 창의성을 강화합니다.
  • 고품질 동영상 생성: Wan2.2 아키텍처를 기반으로 영화 수준의 고품질 동영상을 출력합니다.
  • 다중 해상도 지원: 512×512, 768×768, 1024×1024 등 다양한 해상도로 동영상을 생성해 다양한 시나리오에 맞게 활용할 수 있습니다.
모델 버전:
  • 14B 고성능 버전: 모델 크기가 32GB를 초과하며 더 나은 결과를 제공하지만 높은 VRAM을 요구합니다.
아래는 관련 모델 가중치와 코드 저장소입니다:

​
ComfyOrg Wan2.2 Fun InP & Control 유튜브 라이브 스트림 다시보기

​
Wan2.2 Fun Inp 시작-끝 프레임 동영상 생성 워크플로우 예제

Make sure your ComfyUI is updated.Workflows in this guide can be found in the Workflow Templates. If you can’t find them in the template, your ComfyUI may be outdated. (Desktop version’s update will delay sometime)If nodes are missing when loading a workflow, possible reasons:
  1. You are not using the latest ComfyUI version (Nightly version)
  2. Some nodes failed to import at startup
이 워크플로우는 두 가지 버전을 제공합니다:
  1. Wan2.2-Lightning 4단계 LoRA를 사용해 동영상 생성 속도를 높인 버전
  2. 가속화된 LoRA 없이 fp8_scaled 버전
아래는 RTX4090D 24GB VRAM GPU를 사용해 640×640 해상도, 81프레임에서 수행한 테스트 결과입니다.
모델 유형VRAM 사용량첫 번째 생성 시간두 번째 생성 시간
fp8_scaled83%≈ 524초≈ 520초
fp8_scaled + 4단계 LoRA89%≈ 138초≈ 79초
LoRA를 통한 가속화가 큰 효과를 주지만 동영상의 역동성이 손실될 수 있으므로, 제공되는 워크플로우에서는 기본적으로 가속화된 LoRA 버전이 활성화되어 있습니다. 다른 워크플로우를 활성화하려면 해당 버전을 선택하고 Ctrl+B를 눌러 활성화하세요.

​
1. 워크플로우 파일 다운로드

ComfyUI를 최신 버전으로 업데이트한 후, 메뉴 워크플로우 -> 템플릿 둘러보기 -> 동영상에서 “Wan2.2 Fun Inp”를 찾아 워크플로우를 로드하세요. 또는 ComfyUI를 최신 버전으로 업데이트한 후 아래 워크플로우를 다운로드해 ComfyUI에 드래그하여 로드하세요.

JSON 워크플로우 다운로드

Comfy Cloud에서 실행

 다음 자료를 시작 및 끝 프레임으로 사용하세요. Wan2.2 Fun Control ComfyUI 워크플로우 시작 프레임 자료 Wan2.2 Fun Control ComfyUI 워크플로우 끝 프레임 자료

​
2. 모델

디퓨전 모델 Lightning LoRA (선택사항, 가속화용) VAE 텍스트 인코더 
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​
3. 워크플로우 안내

워크플로우 단계 이미지
이 워크플로우는 LoRA를 사용합니다. 해당 디퓨전 모델과 LoRA가 서로 맞아야 합니다.
  1. 고노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하도록 확인하세요.
  2. 저노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하도록 확인하세요.
  3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하도록 확인하세요.
  4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하도록 확인하세요.
  5. 시작 및 끝 프레임 이미지를 자료로 업로드하세요.
  6. 프롬프트 그룹에 원하는 프롬프트를 입력하세요.
  7. WanFunInpaintToVideo 노드에서 크기와 동영상 길이를 조정하세요.
    • width와 height 파라미터를 조정하세요. 기본값은 640입니다. 우리는 작은 크기를 설정했지만 필요에 따라 수정할 수 있습니다.
    • length를 조정하세요. 이는 총 프레임 수입니다. 현재 워크플로우의 fps는 16입니다. 예를 들어 5초짜리 동영상을 생성하려면 5×16 = 80으로 설정해야 합니다.
  8. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 동영상 생성을 실행하세요.