Wan2.2-S2V 音声駆動型動画生成の ComfyUI ネイティブワークフロー例

• 音声駆動型動画生成: 静止画像と音声を同期した動画に変換
• 映画級の高品質出力: 自然な表情や動きを伴う高精細動画を生成
• 分単位の動画生成: 長尺動画の作成をサポート
• 多様なフォーマット対応: 全身および上半身のキャラクターに対応
• 高度なモーション制御: テキストによる指示で動作や背景環境を生成可能

​

Wan2.2 S2V の ComfyUI ネイティブワークフロー

​

Wan2.2-S2V 音声駆動型動画生成

​

2. モデルリンク

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_s2v_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_s2v_14B_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 audio_encoders/ # フォルダーが存在しない場合は手動で作成してください
│   │   └─── wav2vec2_large_english_fp16.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. ワークフローの操作手順

​

3.1 Lightning LoRA について

​

3.2 fp8_scaled および bf16 モデルについて

​

3.3 ステップごとの操作手順

1. 拡散モデルを読み込む: wan2.2_s2v_14B_fp8_scaled.safetensors または wan2.2_s2v_14B_bf16.safetensors を読み込みます
   • 提供されているワークフローでは VRAM 使用量が少ない wan2.2_s2v_14B_fp8_scaled.safetensors を使用しています
   • ただし、品質劣化を抑えたい場合は wan2.2_s2v_14B_bf16.safetensors を試すことができます
2. CLIP を読み込む: umt5_xxl_fp8_e4m3fn_scaled.safetensors を読み込みます
3. VAE を読み込む: wan_2.1_vae.safetensors を読み込みます
4. AudioEncoderLoader: wav2vec2_large_english_fp16.safetensors を読み込みます
5. LoraLoaderModelOnly: wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors（Lightning LoRA）を読み込みます
   • Wan2.2 のすべての Lightning LoRA をテストしました。これは Wan2.2 S2V 専用に学習された LoRA ではないため、多くのキー値が一致しません。ただし、生成時間を大幅に短縮できるため、本テンプレートに含めています。今後も最適化を継続していきます
   • この LoRA を使用すると、動きの自然さおよび画質に著しい劣化が生じます
   • 出力品質が不十分と感じた場合は、オリジナルの 20 ステップワークフローをお試しください
6. LoadAudio: 提供済みの音声ファイル、またはユーザー自身の音声ファイルをアップロードします
7. Load Image: 参照用の画像をアップロードします
8. バッチサイズ: 追加する「Video S2V Extend」サブグラフノードの数に応じて設定します
   • 各「Video S2V Extend」サブグラフは、最終出力に 77 フレームを追加します
   • 例：「Video S2V Extend」サブグラフを 2 個追加した場合、バッチサイズは 3 に設定します（これは全サンプリング反復回数を意味します）
   • Chunk Length: デフォルト値の 77 のままにしてください
9. サンプラー設定: Lightning LoRA の使用有無に応じて異なる設定を選択します
   • 4 ステップ Lightning LoRA を使用する場合: steps: 4, cfg: 1.0
   • 4 ステップ Lightning LoRA を使用しない場合: steps: 20, cfg: 6.0
10. サイズ設定: 出力動画の解像度を設定します
11. Video S2V Extend: 動画拡張用のサブグラフノードです。デフォルトのサンプリングフレーム数は 77 であり、本モデルは 16fps であるため、各拡張により 77 / 16 = 4.8125 秒の動画が生成されます
    • 入力音声の長さに合わせて「Video S2V Extend」サブグラフノードの数を計算する必要があります。例：入力音声が 14 秒の場合、必要な総フレーム数は 14x16=224、各拡張は 77 フレームであるため、必要なノード数は 224/77 = 2.9、切り上げて 3 個となります
12. Ctrl + Enter キーを押すか、[実行] ボタンをクリックしてワークフローを実行します