Skip to main content
Wan-Animate は、WAN チームが開発した人物アニメーションおよび置換のための統合フレームワークです。 このモデルは、パフォーマーの動画をもとに任意のキャラクターをアニメーション化でき、パフォーマーの顔の表情や身体の動きを高精度に再現し、非常にリアルなキャラクタービデオを生成します。 また、既存のビデオ内のキャラクターをアニメーション化されたキャラクターで置き換えることも可能で、元の表情や動きを保持しつつ、オリジナルのライティングや色調を忠実に再現することで、環境へのシームレスな統合を実現します。

モデルのハイライト

  • デュアルモード機能:単一のアーキテクチャでアニメーションと置換機能の両方をサポートし、簡単に操作の切り替えが可能です。
  • 高度なボディモーション制御:空間的に整列されたスケルトン信号を用いて、正確な身体動作の再現を実現します
  • 精密な動きと表情:参照ビデオから動きおよび顔の表情を高精度に再現します。
  • 自然な環境統合:置き換えられたキャラクターをオリジナルのビデオ環境にシームレスに融合させます。
  • スムーズな長尺動画生成:反復生成により、拡張された動画において一貫性のある動きと視覚的な流れを保証します。

ComfyOrg Wan2.2 Animate ライブ配信アーカイブ

ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

Wan2.2 Animateワークフローについて

このワークフローは、Mix(動画内のキャラクターを参照画像のキャラクターに置き換える)とMove(入力動画のモーションを使ってキャラクターをアニメーションさせる)の2つのモードをサポートしています。

Wan2.2 Animate、キャラクターアニメーションと置換

精密な動きと表情の再現を実現する、統合されたキャラクターアニメーションと置換フレームワークです。 Wan2.2 Animate、キャラクターアニメーションと置換ワークフローのプレビュー

Comfy Cloudで実行

Comfy Cloudで開く

ワークフローをダウンロード

JSONをダウンロードするか、テンプレートライブラリで「Wan2.2 Animate」を検索してください
入力素材 以下のファイルを対応するノードにアップロードしてください。

video_wan2_2_14B_animate_reference_image.png

LoadImage ノード 10 · video_wan2_2_14B_animate_reference_image.png

video_wan2_2_14B_animate_original_video.mp4

LoadVideo ノード 145 · video_wan2_2_14B_animate_original_video.mp4
video_wan2_2_14B_animate_reference_image.png

2. モデルリンク

このガイドで使用するすべてのモデルはこちらにあります。 拡散モデル

Wan2.2 Animate 14B FP8 (Kijai)

Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors:Kijaiのリポジトリからのスケーリング済みFP8バージョン

Wan2.2 Animate 14B BF16

wan2.2_animate_14B_bf16.safetensors:オリジナルのbf16モデルウェイト
CLIP Vision

CLIP Vision H

clip_vision_h.safetensors:CLIP Visionエンコーダー
LoRA

LightX2V I2V 14B 4-Step LoRA

lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors:4ステップ高速化LoRA
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors:Wan2.1 VAE(エンコード・デコード用)
テキストエンコーダー

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors:スケーリング済みFP8テキストエンコーダー

3. カスタムノードをインストール

次のワークフローファイルをダウンロードし、ComfyUIにドラッグ&ドロップしてワークフローを読み込みます。ComfyUI-Managerをインストール済みの場合は、「不足ノードをインストール」ボタンをクリックするだけで不足しているノードをインストールできます。 以下のカスタムノードをインストールする必要があります: カスタムノードのインストール方法がわからない場合は、カスタムノードのインストール方法を参照してください。

4. ワークフローの手順

Wan2.2 Animateには「Mix」と「Move」の2つのモードがあります。
  • Mix: 参照画像を使用して、ビデオ内のキャラクターを置き換えます。
  • Move: 入力ビデオのキャラクターの動きを使用して、参照画像内のキャラクターをアニメーション化します(Wan2.2 Fun Controlと同様)。

4.1 Mixモード

ワークフローの手順
  1. このワークフローを初めて実行する場合は、VRAM不足を避けるため、ビデオ生成に小さなサイズを使用してください。また、WanAnimateToVideoの制限により、ビデオの幅と高さは16の倍数である必要があります。
  2. すべてのモデルが正しく読み込まれていることを確認してください。
  3. プロンプトを必要に応じて更新してください。
  4. 参照画像をアップロードします。この画像内のキャラクターがターゲットキャラクターになります。
  5. 初回は、提供されているビデオを入力ビデオとして使用できます。comfyui_controlnet_auxDWPose Estimator ノードが、入力ビデオをポーズと顔の制御ビデオに前処理します。
  6. Points EditorKJNodes から提供されています。デフォルトでは、このノードは入力ビデオから最初のフレームを読み込みません。ワークフローを一度実行するか、手動で最初のフレームをアップロードする必要があります。
    • Points Editor ノードの下には、このノードの動作方法と編集方法に関する注記が追加されています。そちらを参照してください。
  7. 「Video Extend」グループは、出力ビデオの長さを延長するためのものです。
    • Video Extend はさらに77フレーム(約4.8125秒)を延長します。
    • 入力ビデオが5秒未満の場合は、これを使用する必要はないかもしれません。
    • さらに長く延長したい場合は、複数回コピー&ペーストする必要があります。前の Video Extend から次の Video Extend に batch_images をリンクし、さらに前の Video Extend から次の Video Extend に video_frame_offset をリンクする必要があります。
  8. Run ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してビデオ生成を実行してください。

4.2 Moveモード

Wan2.2 Animateワークフローではサブグラフを使用しています。Moveモードに切り替える方法は以下の通りです。 サブグラフ Moveモードに切り替えたい場合は、Video Sampling and output(Subgraph) ノードから background_videocharacter_mask の入力を切断してください。