메인 콘텐츠로 건너뛰기
템플릿을 조정하고 CausVid LoRA에 대한 관련 사용법과 지침을 추가했으므로, 이 문서를 업데이트해야 하며 일정 준비 시간이 필요합니다. 그때까지는 템플릿의 참고사항을 참조해 주시기 바랍니다.

​
VACE 소개

VACE 14B는 알리바바 통이 완샹팀이 출시한 오픈소스 통합 비디오 편집 모델입니다. 다중 작업 기능을 통합하고 고해상도 처리 및 유연한 멀티모달 입력 메커니즘을 지원함으로써 이 모델은 비디오 제작의 효율성과 품질을 크게 향상시킵니다. 이 모델은 Apache-2.0 라이선스로 오픈소스화되었으며 개인적 또는 상업적 목적으로 사용할 수 있습니다. 다음은 핵심 기능과 기술적 특징에 대한 종합적인 분석입니다:
  • 멀티모달 입력: 텍스트, 이미지, 비디오, 마스크, 제어 신호 등 다양한 입력 형식을 지원합니다.
  • 통합 아키텍처: 단일 모델이 자유롭게 조합 가능한 기능으로 여러 작업을 지원합니다.
  • 모션 전송: 참조 비디오를 기반으로 일관된 액션을 생성합니다.
  • 로컬 교체: 마스크를 통해 비디오의 특정 영역을 교체합니다.
  • 비디오 확장: 액션을 완성하거나 배경을 확장합니다.
  • 배경 교체: 피사체는 유지하면서 환경 배경을 변경합니다.
현재 VACE는 1.3B와 14B 두 가지 버전을 출시했습니다. 1.3B 버전에 비해 14B 버전은 720P 해상도 출력을 지원하며 이미지 디테일과 안정성이 더욱 개선되었습니다.
모델480P720P
VACE-1.3B✅❌
VACE-14B✅✅
관련 모델 가중치 및 코드 저장소:
Make sure your ComfyUI is updated.Workflows in this guide can be found in the Workflow Templates. If you can’t find them in the template, your ComfyUI may be outdated. (Desktop version’s update will delay sometime)If nodes are missing when loading a workflow, possible reasons:
  1. You are not using the latest ComfyUI version (Nightly version)
  2. Some nodes failed to import at startup

​
워크플로우에서 모델 다운로드 및 로딩

이 문서에서 다루는 워크플로우는 모두 동일한 워크플로우 템플릿을 사용하므로, 먼저 모델 다운로드 및 로딩 정보를 소개한 후, 서로 다른 노드를 바이패스하여 각각의 입력을 활성화하거나 비활성화해 다양한 워크플로우를 구현할 수 있습니다. 모델 다운로드 정보는 특정 예제의 워크플로우 정보에 이미 포함되어 있으므로, 특정 예제 워크플로우를 다운로드할 때 모델 다운로드도 함께 완료할 수 있습니다.

​
모델 다운로드

diffusion_models wan2.1_vace_14B_fp16.safetensors wan2.1_vace_1.3B_fp16.safetensors
이전에 Wan Video 관련 워크플로우를 사용하셨다면 이미 다음 모델 파일을 다운로드하셨을 것입니다.
VAE 텍스트 인코더 중 하나를 선택해 다운로드하세요: 파일 저장 위치 
📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └─── wan2.1_vace_14B_fp16.safetensors
│   ├── 📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors # 또는 umt5_xxl_fp16.safetensors
│   └── 📂 vae/
│       └──  wan_2.1_vae.safetensors

​
모델 로딩

이 문서에서 다루는 워크플로우에 사용되는 모델은 모두 동일하므로, 워크플로우 역시 동일하며 노드만 바이패스해 서로 다른 입력을 활성화하거나 비활성화합니다. 아래 이미지를 참고해 각 워크플로우에서 해당 모델이 올바르게 로드되었는지 확인해 주세요. Wan2.1 VACE 모델 로딩
  1. Load Diffusion Model 노드가 wan2.1_vace_14B_fp16.safetensors를 로드했는지 확인하세요.
  2. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 또는 umt5_xxl_fp16.safetensors를 로드했는지 확인하세요.
  3. Load VAE 노드가 wan_2.1_vae.safetensors를 로드했는지 확인하세요.

​
How to toggle Node Bypass Status

When a node is set to Bypass status, data passing through the node will not be affected by the node and will be output directly. We often set nodes to Bypass status when we don’t need them. Here are three ways to toggle a node’s Bypass status: Toggle Bypass
  1. After selecting the node, click the arrow in the indicator section of the selection toolbox to quickly toggle the node’s Bypass status
  2. After selecting the node, right-click the node and select Mode -> Always to switch to Always mode
  3. After selecting the node, right-click the node and select the Bypass option to toggle the Bypass status

​
VACE 텍스트-to-비디오 워크플로우

mp4 파일로 워크플로우를 로드할 수 없는 경우, ComfyUI 프론트엔드 버전이 requirements.txt에 명시된 최신 버전인지 확인해 주세요. mp4 파일로 워크플로우를 로드할 수 있는지 확인해 주세요.현재 requirements.txt 파일에 명시된 ComfyUI 프론트엔드 최신 버전은 1.19.9입니다.

​
1. 워크플로우 다운로드

아래 비디오를 다운로드해 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요.

​
2. 워크플로우 단계별 완료하기

image 이미지의 번호순대로 진행해 원활한 워크플로우 실행을 보장해 주세요.
  1. CLIP Text Encode (Positive Prompt) 노드에 긍정적 프롬프트를 입력하세요.
  2. CLIP Text Encode (Negative Prompt) 노드에 부정적 프롬프트를 입력하세요.
  3. WanVaceToVideo에서 이미지 크기(첫 실행 시 640x640 해상도 권장)와 프레임 수(비디오 길이)를 설정하세요.
  4. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 비디오 생성을 실행하세요.
  5. 생성이 완료되면 비디오는 자동으로 ComfyUI/output/video 디렉토리에 저장됩니다(저장 위치는 save video 노드 설정에 따라 달라집니다).
4090 GPU로 테스트한 결과:
  • 720x1280 해상도, 81프레임 생성에는 약 40분 소요
  • 640x640 해상도, 49프레임 생성에는 약 7분 소요
하지만 720P 화질이 더 우수합니다.

​
VACE 이미지-to-비디오 워크플로우

위 워크플로우를 그대로 사용할 수 있으며, Load reference image 섹션의 Load image 노드를 바이패스 해제하고 이미지를 입력하세요. 아래 이미지를 사용해도 됩니다—이 파일에는 이미 이미 대응 파라미터가 설정되어 있습니다.

​
1. 워크플로우 다운로드

아래 비디오를 다운로드해 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요. 입력용 이미지는 아래를 다운로드하세요. vace-i2v-input

​
2. 워크플로우 단계별 완료하기

워크플로우 단계 이미지의 번호순대로 진행해 원활한 워크플로우 실행을 보장해 주세요.
  1. Load image 노드에 해당 이미지를 입력하세요.
  2. 텍스트-to-비디오 워크플로우와 마찬가지로 프롬프트를 수정하고 편집할 수 있습니다.
  3. WanVaceToVideo에서 이미지 크기(첫 실행 시 640x640 해상도 권장)와 프레임 수(비디오 길이)를 설정하세요.
  4. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 비디오 생성을 실행하세요.
  5. 생성이 완료되면 비디오는 자동으로 ComfyUI/output/video 디렉토리에 저장됩니다(저장 위치는 save video 노드 설정에 따라 달라집니다).
해상도를 설정하려면 이미지 크기를 가져오는 노드 등을 사용할 수 있지만, 해당 노드의 가로와 세로 단계 요구 사항 때문에 이미지 크기가 16으로 나누어지지 않으면 오류 메시지가 나타날 수 있습니다.

​
3. 추가 워크플로우 참고사항

VACE는 한 이미지에 여러 참조 이미지를 입력해 해당 비디오를 생성하는 것도 지원합니다. 관련 예제는 VACE 프로젝트 페이지에서 확인하실 수 있습니다.

​
VACE 비디오-to-비디오 워크플로우

​
1. 워크플로우 다운로드

아래 비디오를 다운로드해 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요. 다음 자료를 입력으로 사용하겠습니다:
  1. 참조용 입력 이미지 v2v-input
  2. 아래 비디오는 사전 처리된 상태로, 비디오 생성을 제어하는 데 사용됩니다.
  1. 아래 비디오는 원본 비디오입니다. 이 자료를 다운로드해 comfyui_controlnet_aux와 같은 사전 처리 노드를 사용해 이미지를 사전 처리할 수 있습니다.

​
2. 워크플로우 단계별 완료하기

워크플로우 단계 이미지의 번호순대로 진행해 원활한 워크플로우 실행을 보장해 주세요.
  1. Load reference image 섹션의 Load Image 노드에 참조 이미지를 입력하세요.
  2. Load control video 섹션의 Load Video 노드에 제어 비디오를 입력하세요. 제공된 비디오는 사전 처리된 상태이므로 추가 처리가 필요 없습니다.
  3. 원본 비디오를 직접 사전 처리해야 한다면, Image preprocessing 그룹을 수정하거나 comfyui_controlnet_aux 노드를 사용해 사전 처리를 완료할 수 있습니다.
  4. 프롬프트를 수정하세요.
  5. WanVaceToVideo에서 이미지 크기(첫 실행 시 640x640 해상도 권장)와 프레임 수(비디오 길이)를 설정하세요.
  6. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 비디오 생성을 실행하세요.
  7. 생성이 완료되면 비디오는 자동으로 ComfyUI/output/video 디렉토리에 저장됩니다(저장 위치는 save video 노드 설정에 따라 달라집니다).

​
VACE 비디오 아웃페인팅 워크플로우

[업데이트 예정]

​
VACE 첫 번째와 마지막 프레임 비디오 생성

[업데이트 예정] 첫 번째와 마지막 프레임이 효과적이도록 하려면 비디오의 ‘길이’ 설정이 ‘길이-1’이 4로 나누어져야 합니다. 해당 ‘배치 크기’ 설정은 ‘배치 크기 = 길이 - 2’를 만족해야 합니다.

​
관련 노드 설명서

아래 설명서를 참고해 관련 노드에 대해 알아보세요.

WanVaceToVideo 노드 설명서

WanVaceToVideo 노드 설명서

TrimVideoLatent 노드 설명서

ComfyUI TrimVideoLatent 노드 설명서