ComfyUI Wan2.1 InfiniteTalk ワークフロー例

• オーディオ駆動のリップシンク: 入力オーディオに合った自然な口の動きを生成
• 全身の動き: 同一性、背景、カメラワークを保ちながら、同期した体の動きを追加
• デュアルモード: 単一キャラクターと複数キャラクターの両方のシナリオに対応
• ComfyUI ネイティブ: 組み込みの WanInfiniteTalkToVideo ノードがあり、カスタムノードは不要

• InfiniteTalk GitHub リポジトリ
• Wan2.1 コードリポジトリ
• Wan2.1 モデルリポジトリ

​

InfiniteTalk 画像から動画へのワークフロー

​

モデルのインストール

• Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

• wan2.1_infiniteTalk_single_fp16.safetensors: 単一キャラクターのシナリオ向け
• wan2.1_infiniteTalk_multi_fp16.safetensors: 複数キャラクターのシナリオ向け

• wav2vec2-chinese-base_fp16.safetensors

• Wan2_1_VAE_bf16.safetensors

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

​

モデルの保存場所

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors
│   ├── 📂 text_encoders/
│   │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── 📂 model_patches/
│   │   ├── wan2.1_infiniteTalk_single_fp16.safetensors
│   │   └── wan2.1_infiniteTalk_multi_fp16.safetensors
│   ├── 📂 audio_encoders/
│   │   └── wav2vec2-chinese-base_fp16.safetensors
│   ├── 📂 vae/
│   │   └── Wan2_1_VAE_bf16.safetensors
│   └── 📂 loras/
│       └── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

​

サンプル入力ファイル

​

ワークフローの手順

1. 入力画像を読み込む: キャラクターの参照画像を Load Image ノードにドラッグします。複数キャラクターのシナリオでは、マスクエディターを使って各キャラクターのマスクを描画します。
2. オーディオトラックを読み込む: オーディオファイルを Load Audio ノードに接続します（キャラクターごとに1つ）。
3. 拡散モデルを読み込む: Load Diffusion Model ノードが Wan2_1-I2V-14B-480p_fp8_e4m3fn_scaled_KJ.safetensors を使用していることを確認します。
4. モデルパッチを読み込む: ModelPatchLoader ノードを介して、適切な InfiniteTalk パッチ（single または multi バリアント）を読み込みます。
5. InfiniteTalk を設定する: WanInfiniteTalkToVideo ノードのパラメータを調整します。例えば、length（フレーム単位のビデオ長）、motion_frame_count（モーションコンテキストとして使用する過去のフレーム）、audio_scale などです。
6. 生成: ワークフローを実行します。モデルは、入力オーディオに同期した全身トーキングビデオを生成します。

​

ビデオ長の延長

1. 「Video Extend」グループをボックス選択します
2. Ctrl-C（コピー）を押し、続けて Ctrl-Shift-V（接続を保ったまま貼り付け）を押します
3. 前の InfiniteTalk (Base Generation) ノードの IMAGE 出力を、新しい WanInfiniteTalkToVideo ノードの previous_frames 入力に接続します
4. Batch Images ノードの IMAGE 出力を、新しい Batch Images ノードの画像入力に接続します