메인 콘텐츠로 건너뛰기
Wan2.2-Fun-Inp는 알리바바 PAI 팀이 출시한 시작-끝 프레임 제어 동영상 생성 모델입니다. 이 모델은 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 크리에이터들이 더욱 창의적인 제어를 할 수 있도록 지원합니다. 이 모델은 Apache 2.0 라이선스로 배포되며 상업적 사용도 가능합니다. 주요 특징:
  • 시작-끝 프레임 제어: 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 동영상의 일관성과 창의성을 강화합니다.
  • 고품질 동영상 생성: Wan2.2 아키텍처를 기반으로 영화 수준의 고품질 동영상을 출력합니다.
  • 다중 해상도 지원: 512×512, 768×768, 1024×1024 등 다양한 해상도로 동영상을 생성해 다양한 시나리오에 맞게 활용할 수 있습니다.
모델 버전:
  • 14B 고성능 버전: 모델 크기가 32GB를 초과하며 더 나은 결과를 제공하지만 높은 VRAM을 요구합니다.
아래는 관련 모델 가중치와 코드 저장소입니다:

​
ComfyOrg Wan2.2 Fun InP & Control 유튜브 라이브 스트림 다시보기

​
Wan2.2 Fun Inp 시작-끝 프레임 동영상 생성 워크플로우 예제

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.이 가이드의 워크플로우는 워크플로우 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다. (데스크톱 버전의 업데이트는 다소 지연될 수 있습니다)워크플로우를 로드할 때 노드가 누락되는 경우, 가능한 원인:
  1. 최신 ComfyUI 버전(야간 빌드)을 사용하고 있지 않음
  2. 일부 노드가 시작 시 가져오기에 실패함
이 워크플로우는 두 가지 버전을 제공합니다:
  1. Wan2.2-Lightning 4단계 LoRA를 사용해 동영상 생성 속도를 높인 버전
  2. 가속화된 LoRA 없이 fp8_scaled 버전
아래는 RTX4090D 24GB VRAM GPU를 사용해 640×640 해상도, 81프레임에서 수행한 테스트 결과입니다.
모델 유형VRAM 사용량첫 번째 생성 시간두 번째 생성 시간
fp8_scaled83%≈ 524초≈ 520초
fp8_scaled + 4단계 LoRA89%≈ 138초≈ 79초
LoRA를 통한 가속화가 큰 효과를 주지만 동영상의 역동성이 손실될 수 있으므로, 제공되는 워크플로우에서는 기본적으로 가속화된 LoRA 버전이 활성화되어 있습니다. 다른 워크플로우를 활성화하려면 해당 버전을 선택하고 Ctrl+B를 눌러 활성화하세요.

​
1. 워크플로우 파일 다운로드

ComfyUI를 최신 버전으로 업데이트한 후, 메뉴 워크플로우 -> 템플릿 둘러보기 -> 동영상에서 “Wan2.2 Fun Inp”를 찾아 워크플로우를 로드하세요. 또는 ComfyUI를 최신 버전으로 업데이트한 후 아래 워크플로우를 다운로드해 ComfyUI에 드래그하여 로드하세요.

JSON 워크플로우 다운로드

Comfy Cloud에서 실행

 다음 자료를 시작 및 끝 프레임으로 사용하세요. Wan2.2 Fun Control ComfyUI 워크플로우 시작 프레임 자료 Wan2.2 Fun Control ComfyUI 워크플로우 끝 프레임 자료

​
2. 모델

디퓨전 모델 Lightning LoRA (선택사항, 가속화용) VAE 텍스트 인코더 
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​
3. 워크플로우 안내

워크플로우 단계 이미지
이 워크플로우는 LoRA를 사용합니다. 해당 디퓨전 모델과 LoRA가 서로 맞아야 합니다.
  1. 고노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하도록 확인하세요.
  2. 저노이즈 모델 및 LoRA 로딩
    • Load Diffusion Model 노드가 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 모델을 로드하도록 확인하세요.
    • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하도록 확인하세요.
  3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하도록 확인하세요.
  4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하도록 확인하세요.
  5. 시작 및 끝 프레임 이미지를 자료로 업로드하세요.
  6. 프롬프트 그룹에 원하는 프롬프트를 입력하세요.
  7. WanFunInpaintToVideo 노드에서 크기와 동영상 길이를 조정하세요.
    • width와 height 파라미터를 조정하세요. 기본값은 640입니다. 우리는 작은 크기를 설정했지만 필요에 따라 수정할 수 있습니다.
    • length를 조정하세요. 이는 총 프레임 수입니다. 현재 워크플로우의 fps는 16입니다. 예를 들어 5초짜리 동영상을 생성하려면 5×16 = 80으로 설정해야 합니다.
  8. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 동영상 생성을 실행하세요.