メインコンテンツへスキップ
Wan-Animate は、WAN チームが開発した人物アニメーションおよび置換のための統合フレームワークです。 このモデルは、パフォーマーの動画をもとに任意のキャラクターをアニメーション化でき、パフォーマーの顔の表情や身体の動きを高精度に再現し、非常にリアルなキャラクタービデオを生成します。 また、既存のビデオ内のキャラクターをアニメーション化されたキャラクターで置き換えることも可能で、元の表情や動きを保持しつつ、オリジナルのライティングや色調を忠実に再現することで、環境へのシームレスな統合を実現します。

モデルの主な特長

  • デュアルモード機能:単一のアーキテクチャでアニメーションとキャラクター置換の両方をサポートし、簡単にモード切り替えが可能です。
  • 高度なボディモーション制御:空間的に整列されたスケルトン信号を用いて、正確な身体動作の再現を実現します。
  • 精密な動きと表情の再現:参照動画から動きおよび顔の表情を高精度に再現します。
  • 自然な環境統合:置換されたキャラクターを元の動画環境に自然かつシームレスに融合させます。
  • スムーズな長尺動画生成:反復生成により、拡張された動画においても一貫性のある動きと視覚的な流れを保証します。

ComfyOrg Wan2.2 Animate ライブ配信アーカイブ

ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。
テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。(デスクトップ版の更新は若干遅れることがあります)
ワークフローを読み込んだ際にノードが欠落している場合の主な原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

Wan2.2 Animate ワークフローについて

本ドキュメントでは、以下の2種類のワークフローを紹介します。
  1. コアノードのみを使用するワークフロー(未完成版:画像の前処理をユーザー自身で行う必要があります)
  2. カスタムノードを含むワークフロー(完成版:そのまま使用可能ですが、初心者の方はカスタムノードのインストール方法をご存じない場合があります)

Wan2.2 Animate ComfyUI ネイティブワークフロー(カスタムノードなし)

1. ワークフローファイルのダウンロード

以下のワークフローファイルをダウンロードし、ComfyUI にドラッグ&ドロップして読み込んでください。

JSON ワークフローをダウンロード

Comfy Cloud で実行

以下の素材を入力としてダウンロードしてください: 参照画像:
Reference_Image
入力動画

2. モデルのダウンロードリンク

diffusion_models clip_visions loras vae text_encoders
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors
│   │   └─── wan2.2_animate_14B_bf16.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   ├───📂 clip_visions/ 
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. カスタムノードのインストール

以下のワークフローファイルをダウンロードし、ComfyUI にドラッグ&ドロップして読み込んでください。すでに ComfyUI-Manager をインストール済みの場合、「Install missing nodes」ボタンをクリックするだけで不足ノードを自動インストールできます。 以下のカスタムノードをインストールする必要があります: カスタムノードのインストール方法が不明な場合は、カスタムノードのインストール方法 をご参照ください。

4. ワークフロー操作手順

Wan2.2 Animate には「Mix」と「Move」の2つのモードがあります。
  • Mix: 参照画像のキャラクターで、入力動画内のキャラクターを置換します。
  • Move: 入力動画のキャラクターの動き・表情をもとに、参照画像のキャラクターをアニメーション化します(Wan2.2 Fun Control と同様の動作)。

4.1 Mix モード

Workflow Instructions
  1. 初回実行時は、VRAM 不足を防ぐため、動画生成サイズを小さめに設定してください。また、WanAnimateToVideo の制限により、出力動画の幅または高さは16の倍数である必要があります。
  2. すべてのモデルが正しく読み込まれていることを確認してください。
  3. 必要に応じてプロンプトを更新してください。
  4. 参照画像をアップロードしてください。この画像のキャラクターが、置換後のターゲットキャラクターになります。
  5. 初回実行時は、当該ドキュメントで提供している動画を入力動画としてご利用いただけます。comfyui_controlnet_auxDWPose Estimator ノードが、入力動画を姿勢および顔の制御用動画に前処理します。
  6. Points EditorKJNodes 由来のノードです。デフォルトでは入力動画の最初のフレームを読み込みません。ワークフローを一度実行するか、手動で最初のフレームをアップロードしてください。
    • Points Editor ノードの下部には、このノードの動作方法および編集方法に関する説明を追加していますので、そちらをご参照ください。
  7. 「Video Extend」グループは、出力動画の長さを延長するためのものです。
    • Video Extend は、さらに77フレーム(約4.8125秒)を延長します。
    • 入力動画が5秒未満の場合は、必要ない場合があります。
    • より長い延長が必要な場合は、複数回コピー&ペーストを行い、前の Video Extendbatch_images 出力を次の Video Extend の入力に接続し、同様に video_frame_offset も接続してください。
  8. Run ボタンをクリックするか、ショートカットキー Ctrl (Cmd) + Enter を押して動画生成を実行してください。

4.2 Move モード

Wan2.2 Animate ワークフローでは、サブグラフ を活用しています。Move モードへの切り替え手順は以下の通りです: Subgraph Move モードに切り替えるには、Video Sampling and output(Subgraph) ノードから background_video および character_mask の入力接続を解除してください。