ComfyUI Wan2.1 InfiniteTalk 워크플로 예제

• 오디오 기반 립 싱크: 입력 오디오에 맞는 자연스러운 입 움직임 생성
• 전신 모션: 정체성, 배경, 카메라 움직임을 유지하면서 동기화된 신체 모션 추가
• 듀얼 모드: 단일 캐릭터와 다중 캐릭터 시나리오 모두 지원
• ComfyUI 네이티브: WanInfiniteTalkToVideo 노드가 내장되어 있어 커스텀 노드가 필요하지 않습니다

• InfiniteTalk GitHub 저장소
• Wan2.1 코드 저장소
• Wan2.1 모델 저장소

​

InfiniteTalk 이미지 기반 비디오 생성 워크플로

​

모델 설치

• Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

• wan2.1_infiniteTalk_single_fp16.safetensors: 단일 캐릭터 시나리오용
• wan2.1_infiniteTalk_multi_fp16.safetensors: 다중 캐릭터 시나리오용

• wav2vec2-chinese-base_fp16.safetensors

• Wan2_1_VAE_bf16.safetensors

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

​

모델 저장 위치

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors
│   ├── 📂 text_encoders/
│   │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── 📂 model_patches/
│   │   ├── wan2.1_infiniteTalk_single_fp16.safetensors
│   │   └── wan2.1_infiniteTalk_multi_fp16.safetensors
│   ├── 📂 audio_encoders/
│   │   └── wav2vec2-chinese-base_fp16.safetensors
│   ├── 📂 vae/
│   │   └── Wan2_1_VAE_bf16.safetensors
│   └── 📂 loras/
│       └── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

​

샘플 입력 파일

​

워크플로 단계

1. 입력 이미지 로드: 캐릭터 참조 이미지를 Load Image 노드로 드래그합니다. 다중 캐릭터 시나리오에서는 마스크 편집기를 사용해 각 캐릭터의 마스크를 그립니다.
2. 오디오 트랙 로드: 오디오 파일을 Load Audio 노드에 연결합니다(캐릭터당 하나).
3. 확산 모델 로드: Load Diffusion Model 노드가 Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors를 사용하고 있는지 확인합니다.
4. 모델 패치 로드: ModelPatchLoader 노드를 통해 적절한 InfiniteTalk 패치(single 또는 multi 변형)를 로드합니다.
5. InfiniteTalk 구성: length(프레임 단위의 비디오 길이), motion_frame_count(모션 컨텍스트로 사용되는 이전 프레임), audio_scale 등 WanInfiniteTalkToVideo 노드 파라미터를 조정합니다.
6. 생성: 워크플로를 실행합니다. 모델이 입력 오디오와 동기화된 전신 토킹 비디오를 생성합니다.

​

비디오 길이 연장

1. “Video Extend” 그룹을 상자 선택합니다
2. Ctrl-C(복사)를 누른 다음 Ctrl-Shift-V(연결과 함께 붙여넣기)를 누릅니다
3. 이전 InfiniteTalk (Base Generation) 노드의 IMAGE 출력을 새 WanInfiniteTalkToVideo 노드의 previous_frames 입력에 연결합니다
4. Batch Images 노드의 IMAGE 출력을 새 Batch Images 노드의 이미지 입력에 연결합니다