メインコンテンツへスキップ
テンプレートの調整および CausVid LoRA に関する使用方法・説明の追加を行ったため、本ドキュメントは更新が必要です。更新作業には一定の準備期間が必要となるため、その間はテンプレート内の注記を参照してご使用ください。

VACE について

VACE 14B は、アリババ Tongyi Wanxiang チームが公開したオープンソースの統合型動画編集モデルです。このモデルは、複数のタスクを統合した機能、高解像度処理のサポート、および柔軟なマルチモーダル入力機構を備えており、動画制作の効率性と品質を大幅に向上させます。 本モデルは Apache-2.0 ライセンスの下でオープンソース化されており、個人利用および商用利用が可能です。 以下に、その主な特徴および技術的ハイライトを総合的に解説します:
  • マルチモーダル入力:テキスト、画像、動画、マスク、制御信号など、複数の入力形式をサポート
  • 統合アーキテクチャ:単一のモデルで複数のタスクをサポートし、機能を自由に組み合わせ可能
  • モーション転送:参照動画に基づいて連続的かつ自然な動作を生成
  • 局所的置換:マスクを用いて動画内の特定領域を置換
  • 動画拡張:動作の補完や背景の延長を実行
  • 背景置換:被写体を保持したまま、環境の背景を変更
現在、VACE は 1.3B および 14B の 2 つのバージョンをリリースしています。1.3B バージョンと比較して、14B バージョンは 720P 解像度での出力をサポートし、画質のディテールと安定性が向上しています。
モデル480P720P
VACE-1.3B
VACE-14B
関連するモデル重みおよびコードリポジトリ:
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。
テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。(デスクトップ版の更新は若干遅れることがあります)
ワークフローを読み込んだ際にノードが欠落している場合の主な原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

モデルのダウンロードおよびワークフローへの読み込み

本ドキュメントで紹介するすべてのワークフローは同一のテンプレートを使用しているため、まずモデルのダウンロードおよび読み込み手順を説明し、その後、異なるノードを Bypass(無効化)することで、各種入力の有効/無効を切り替えて、異なるワークフローを実現できます。
なお、具体的なサンプルワークフローの情報内には既にモデルのダウンロード情報が埋め込まれているため、サンプルワークフローをダウンロードする際に同時にモデルも取得できます。

モデルのダウンロード

diffusion_models
wan2.1_vace_14B_fp16.safetensors
wan2.1_vace_1.3B_fp16.safetensors
以前に Wan Video 関連のワークフローをご利用になったことがある場合、以下のモデルファイルはすでにダウンロード済みです。
VAE Text encoders からいずれか 1 つのバージョンを選択してダウンロードしてください: ファイルの保存先:
📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └─── wan2.1_vace_14B_fp16.safetensors
│   ├── 📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors # または umt5_xxl_fp16.safetensors
│   └── 📂 vae/
│       └──  wan_2.1_vae.safetensors

モデルの読み込み

本ドキュメントで扱うワークフローでは、使用するモデルが共通であり、ワークフロー自体も同一であるため、各ワークフローにおいて異なる入力を有効/無効にするためにノードの Bypass を切り替えるだけです。以下の画像を参考に、それぞれのワークフローで対応するモデルが正しく読み込まれていることを確認してください。 Wan2.1 VACE モデル読み込み
  1. Load Diffusion Model ノードが wan2.1_vace_14B_fp16.safetensors を読み込んでいることを確認してください
  2. Load CLIP ノードが umt5_xxl_fp8_e4m3fn_scaled.safetensors または umt5_xxl_fp16.safetensors を読み込んでいることを確認してください
  3. Load VAE ノードが wan_2.1_vae.safetensors を読み込んでいることを確認してください

ノードの Bypass 状態を切り替える方法

ノードが Bypass 状態に設定されている場合、そのノードを通過するデータはノードの処理を受けず、そのまま出力されます。ノードをワークフローから削除せずに一時的に無効化したい場合などに、Bypass 状態を設定することがよくあります。 以下は、ノードの Bypass 状態を切り替える3つの方法です: Bypass の切り替え
  1. ノードを選択した状態で、選択ツールボックスの「インジケーター」セクションにある矢印アイコンをクリックすると、ノードの Bypass 状態をすばやく切り替えることができます
  2. ノードを選択した状態で、ノードを右クリックし、モード(Mode)常に(Always) を選択して、Always モードに切り替えます
  3. ノードを選択した状態で、ノードを右クリックし、Bypass(バイパス) オプションを選択して、Bypass 状態を切り替えます

VACE テキストから動画へ(Text-to-Video)ワークフロー

MP4 ファイルからワークフローを読み込めない場合は、ComfyUI のフロントエンドが最新版であることを確認してください。requirements.txt をご参照ください。MP4 ファイルからのワークフロー読み込みが可能であることを確認してください。現在、requirements.txt に記載されている最新の ComfyUI フロントエンドバージョンは 1.19.9 です。

1. ワークフローのダウンロード

以下の動画をダウンロードし、ComfyUI にドラッグ&ドロップすることで、対応するワークフローを読み込んでください。

2. ステップ・バイ・ステップでワークフローを完了する

image 画像中の番号順に操作を行い、ワークフローがスムーズに実行されるようご確認ください。
  1. CLIP Text Encode (Positive Prompt) ノードにポジティブプロンプトを入力してください
  2. `