Wan Dancer: 音楽からダンスビデオ生成

​

モデルの特徴

• オーディオ駆動のダンス生成: 手動のキーフレームやモーションキャプチャなしに、音楽から直接ダンス動作を生成します
• 階層的フレームワーク: 一貫した体の動きと詳細な動作の洗練のための2段階アーキテクチャ（グローバル＋ローカル）
• 音楽同期出力: ダンス動作は入力オーディオのリズムとテンポに自然に合わせられます
• スタイル制御: 設定可能なダンススタイルと動きの振幅でクリエイティブな方向性を実現
• 分単位の生成: 長時間のコヒーレントなダンス動画を生成し、全期間にわたって時間的一貫性を維持

​

ワークフロー概要

​

Wan Dancer ワークフロー

​

1. ワークフローファイルのダウンロード

​

2. 入力素材のダウンロード

​

3. 手動でのモデルのダウンロード

• wan2.2_dancer_14b_global_fp8_scaled.safetensors
• wan2.2_dancer_14b_local_fp8_scaled.safetensors

• lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors

• umt5_xxl_fp16.safetensors

• clip_vision_h.safetensors

• Wan2_1_VAE_bf16.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_dancer_14b_global_fp8_scaled.safetensors
│   │   └─── wan2.2_dancer_14b_local_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp16.safetensors
│   ├───📂 clip_vision/
│   │   └─── clip_vision_h.safetensors
│   └───📂 vae/
│       └── Wan2_1_VAE_bf16.safetensors

​

4. ワークフローの使い方

1. 参照画像を読み込む: Load Image ノードを使用してキャラクター画像をアップロードします。デフォルトの入力は blue_dancer.png を使用します。
2. 音声ファイルを読み込む: Load Audio ノードを使用して音楽やオーディオトラックをアップロードします。デフォルトの入力は wan_dancer_reference_audio.mp3 を使用します。
3. ダンスパラメータを設定:
   • dance_style: 出力ビデオのダンススタイルを選択
   • motion_amplitude: ダンス動作の強度を制御
   • audio_duration: 入力オーディオの長さに合わせて設定
   • final_duration: 最終出力ビデオの長さを選択
4. 出力サイズを設定:
   • width と height: 出力ビデオの解像度を設定します。GPU の利用可能な VRAM に適した値を選択してください。
5. モデルパスを確認: モデルセレクターウィジェットが正しいモデルファイルを指していることを確認してください：
   • global_model: wan2.2_dancer_14b_global_fp8_scaled.safetensors を読み込む必要があります。
   • local_model: wan2.2_dancer_14b_local_fp8_scaled.safetensors を読み込む必要があります。
   • lightning_lora: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors を読み込む必要があります。
   • clip_vision: clip_vision_h.safetensors を読み込む必要があります。
6. 生成を実行: Run ボタンをクリックするか、ショートカット Ctrl(Cmd) + Enter を使用してビデオ生成を実行します。

​

5. 出力

• グローバル出力プレビュー: グローバルモデルによって生成された全体的なダンス構造を表示します
• 最終出力: ローカルモデルによる強化後の洗練されたダンスビデオ

​

モデル情報

• Comfy-Org/Wan-Dancer：グローバル拡散モデルとローカル拡散モデル

​

問題の報告

• ComfyUIが最新バージョンに更新されていることを確認する
• 必須のモデルがすべてダウンロードされ、正しいディレクトリに配置されていることを確認する
• デスクトップ/クラウドユーザーの場合：アップデートは安定リリースに従うため、ナイトリー対応モデルはすぐに利用できない場合があります