Skip to main content
Wan Dancerは、Wan 2.2アーキテクチャを基盤としたオーディオ駆動のダンス動画生成モデルです。グローバルモデルとローカルモデルからなる階層的フレームワークを使用し、入力された音楽に同期した一貫性のある表現豊かなダンス動画を生成します。 キャラクターの参照画像とオーディオトラックを入力として、Wan Dancerは、音楽のリズムやスタイルに合わせた動きをキャラクターが行うダンス動画を生成します。グローバルモデルはダンス全体の構造と身体の連携を捉え、ローカルモデルは細かい動きの詳細を洗練させ、自然で高品質な出力を実現します。

​
モデルの特徴

  • オーディオ駆動のダンス生成: 手動のキーフレームやモーションキャプチャなしに、音楽から直接ダンス動作を生成します
  • 階層的フレームワーク: 一貫した体の動きと詳細な動作の洗練のための2段階アーキテクチャ（グローバル＋ローカル）
  • 音楽同期出力: ダンス動作は入力オーディオのリズムとテンポに自然に合わせられます
  • スタイル制御: 設定可能なダンススタイルと動きの振幅でクリエイティブな方向性を実現
  • 分単位の生成: 長時間のコヒーレントなダンス動画を生成し、全期間にわたって時間的一貫性を維持

​
ワークフロー概要

Wan Dancerワークフローは、2つの入力を受け取ります：キャラクターの参照画像とオーディオファイルです。2つのビデオ出力を生成します：全体的なダンス構造を示すグローバル出力プレビューと、動きの詳細が強化された最終的な洗練された出力です。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因：
  1. 最新の ComfyUI（Nightly 版）を使用していない
  2. 起動時に一部のノードのインポートに失敗している

​
Wan Dancer ワークフロー

​
Wan Dancer: Music to Dance

音楽から階層的な Wan Dancer フレームワークを使用して、分単位の一貫したダンス動画を生成します。音楽ファイルと参照画像を入力して、同期したダンスビデオを生成します。 Wan Dancer: Music to Dance ワークフロープレビュー

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「Wan Dancer」を検索
入力素材 これらのファイルを対応するノードにアップロードしてください:

blue_dancer.png

LoadImage node 547 · blue_dancer.png

wan_dancer_reference_audio.mp3

LoadAudio node 548 · wan_dancer_reference_audio.mp3
blue_dancer.png

​
3. 手動でのモデルのダウンロード

拡散モデル LoRA テキストエンコーダ CLIP ビジョン VAE

​
4. ワークフローの使い方

Wan Dancer は一度に 149 フレームをサンプリングするため、大量の VRAM が必要です。デフォルトのワークフローは 5 秒のビデオを出力します。このワークフローを実行する前に、十分な VRAM を搭載した GPU を用意してください。
  1. 参照画像を読み込む: Load Image ノードを使用してキャラクター画像をアップロードします。デフォルトの入力は blue_dancer.png を使用します。
  2. 音声ファイルを読み込む: Load Audio ノードを使用して音楽やオーディオトラックをアップロードします。デフォルトの入力は wan_dancer_reference_audio.mp3 を使用します。
  3. ダンスパラメータを設定:
    • dance_style: 出力ビデオのダンススタイルを選択
    • motion_amplitude: ダンス動作の強度を制御
    • audio_duration: 入力オーディオの長さに合わせて設定
    • final_duration: 最終出力ビデオの長さを選択
  4. 出力サイズを設定:
    • width と height: 出力ビデオの解像度を設定します。GPU の利用可能な VRAM に適した値を選択してください。
  5. モデルパスを確認: モデルセレクターウィジェットが正しいモデルファイルを指していることを確認してください：
    • global_model: wan2.2_dancer_14b_global_fp8_scaled.safetensors を読み込む必要があります。
    • local_model: wan2.2_dancer_14b_local_fp8_scaled.safetensors を読み込む必要があります。
    • lightning_lora: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors を読み込む必要があります。
    • clip_vision: clip_vision_h.safetensors を読み込む必要があります。
  6. 生成を実行: Run ボタンをクリックするか、ショートカット Ctrl(Cmd) + Enter を使用してビデオ生成を実行します。

​
5. 出力

このワークフローは 2 つのビデオ出力を生成します：
  • グローバル出力プレビュー: グローバルモデルによって生成された全体的なダンス構造を表示します
  • 最終出力: ローカルモデルによる強化後の洗練されたダンスビデオ
両方の出力は SaveVideo ノードを介して自動的に保存されます。

​
モデル情報

Wan Dancerは、Apache 2.0ライセンスの下でリリースされたオープンソースモデルです。モデルの重みはHugging Faceで入手可能です：

​
問題の報告

ランタイムエラーや予期しない動作が発生した場合は、以下を確認してください：
  • ComfyUIが最新バージョンに更新されていることを確認する
  • 必須のモデルがすべてダウンロードされ、正しいディレクトリに配置されていることを確認する
  • デスクトップ/クラウドユーザーの場合：アップデートは安定リリースに従うため、ナイトリー対応モデルはすぐに利用できない場合があります
問題はこちらまで報告してください：ComfyUI/issues