ComfyUI Wan2.1 Fun Control 動画例

​

Wan2.1-Fun-Control について

• 1.3B 軽量版：ローカルデプロイメントと高速推論に適しており、VRAM要件が低い
• 14B 高性能版：モデルサイズは32GB+に達し、より良い結果を提供しますが、より高いVRAMが必要

1. ネイティブのComfy Coreノードのみを使用するワークフロー
2. カスタムノードを使用するワークフロー

​

モデルインストール

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── wan2.1_fun_control_1.3B_bf16.safetensors
│   │   └── Wan2.1-Fun-14B-Control.safetensors
│   ├── 📂 text_encoders/
│   │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── 📂 vae/
│   │   └── wan_2.1_vae.safetensors
│   └── 📂 clip_vision/
│       └── clip_vision_h.safetensors

​

ComfyUI ネイティブワークフロー

​

1. ワークフローファイルのダウンロード

​

2. ワークフローを段階的に完了する

1. Load Diffusion Model ノードが wan2.1_fun_control_1.3B_bf16.safetensors をロードしていることを確認
2. Load CLIP ノードが umt5_xxl_fp8_e4m3fn_scaled.safetensors をロードしていることを確認
3. Load VAE ノードが wan_2.1_vae.safetensors をロードしていることを確認
4. Load CLIP Vision ノードが clip_vision_h.safetensors をロードしていることを確認
5. 開始フレームを Load Image ノード（Start_image にリネーム済み）にアップロード
6. 2 番目の Load Image ノードに制御動画をアップロード。注意：このノードは現在 mp4 をサポートしておらず、WebP 動画のみ使用可能
7. （オプション）プロンプトを変更（英語と中国語の両方をサポート）
8. （オプション）WanFunControlToVideo で動画サイズを調整し、過度に大きな寸法を避ける
9. Run ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用して動画生成を実行

​

3. 使用上の注意

• 制御動画と同じ数のフレームを WanFunControlToVideo ノードに入力する必要があるため、指定されたフレーム数が実際の制御動画フレーム数を超えると、余分なフレームが制御条件に準拠しないシーンを表示する可能性があります。この問題は カスタムノードを使用するワークフロー で解決します
• 過度に大きな寸法を設定しないでください。サンプリングプロセスが非常に時間がかかる可能性があります。まず小さな画像を生成してからアップスケールしてください
• このワークフローを基に、テキストから画像へ、または他のタイプのワークフローを追加して、直接テキストから動画生成やスタイル変換を実現するために想像力を発揮してください
• より豊富な制御オプションのために ComfyUI-comfyui_controlnet_aux などのツールを使用してください

​

カスタムノードを使用するワークフロー

• ComfyUI-VideoHelperSuite
• ComfyUI-comfyui_controlnet_aux

​

1. ワークフローファイルのダウンロード

​

2. ワークフローを段階的に完了する

モデル部分は基本的に同じです。ネイティブのみのワークフローをすでに体験している場合は、対応する画像を直接アップロードして実行できます。

1. Load Diffusion Model ノードが wan2.1_fun_control_1.3B_bf16.safetensors をロードしていることを確認
2. Load CLIP ノードが umt5_xxl_fp8_e4m3fn_scaled.safetensors をロードしていることを確認
3. Load VAE ノードが wan_2.1_vae.safetensors をロードしていることを確認
4. Load CLIP Vision ノードが clip_vision_h.safetensors をロードしていることを確認
5. 開始フレームを Load Image ノードにアップロード
6. mp4 形式の動画を Load Video(Upload) カスタムノードにアップロード。このワークフローではデフォルトの frame_load_cap が調整されていることに注意
7. 現在の画像の場合、DWPose Estimator は detect_face オプションのみを使用
8. （オプション）プロンプトを変更（英語と中国語の両方をサポート）
9. （オプション）WanFunControlToVideo で動画サイズを調整し、過度に大きな寸法を避ける
10. Run ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用して動画生成を実行

​

3. ワークフローの注意点

• この例では mp4 動画をサポートするために Load Video(Upload) を使用
• Load Video(Upload) から取得した video_info により、出力動画の fps を同じに保つことができます
• DWPose Estimator を ComfyUI-comfyui_controlnet_aux ノードパッケージの他の前処理ツールに置き換えることができます
• プロンプトは複数の言語をサポート

​

使用テクニック

• 有用なテクニックとして、複数の画像事前処理技術を組み合わせ、Image Blend ノードを使用して複数の制御方法を同時に適用する目標を達成できます。
• ComfyUI-VideoHelperSuite の Video Combine ノードを使用して、動画を mp4 形式で保存できます
• SaveAnimatedWEBP を使用するのは、現在mp4 へのワークフロー埋め込みをサポートしておらず、一部のカスタムノードもワークフロー埋め込みをサポートしていない可能性があるためです。動画にワークフローを保存するために、SaveAnimatedWEBP ノードを選択します。
• WanFunControlToVideo ノードでは、control_video は必須ではないため、場合によっては制御動画を使用せずに、320x320 などの非常に小さな動画サイズを最初に生成し、それらを制御動画入力として使用して一貫した結果を達成できます。
• ComfyUI-WanVideoWrapper
• ComfyUI-KJNodes