メインコンテンツへスキップ
Wan2.2-Fun-Camera-Control は、Alibaba PAI が開発した次世代の動画生成およびカメラ制御モデルです。革新的な「カメラ制御コード（Camera Control Codes）」を導入し、深層学習とマルチモーダルな条件付き入力を組み合わせることで、あらかじめ定義されたカメラ運動条件に厳密に従った高品質な動画を生成します。本モデルは Apache 2.0 ライセンス の下で公開されており、商用利用が可能です。 主な機能：
  • カメラ運動制御：上方向パン（Pan Up）、下方向パン（Pan Down）、左方向パン（Pan Left）、右方向パン（Pan Right）、ズームイン（Zoom In）、ズームアウト（Zoom Out） などの多様なカメラ運動モードをサポート。また、これらのモードを組み合わせた複合運動も可能。
  • 高品質動画生成：Wan2.2 アーキテクチャを基盤としており、映画レベルの高品質な動画を出力します。
関連するモデル重みおよびソースコードリポジトリは以下の通りです：

​
Wan2.2 Fun Camera Control：カメラ制御による動画生成ワークフローの例

Make sure your ComfyUI is updated.Workflows in this guide can be found in the Workflow Templates. If you can’t find them in the template, your ComfyUI may be outdated. (Desktop version’s update will delay sometime)If nodes are missing when loading a workflow, possible reasons:
  1. You are not using the latest ComfyUI version (Nightly version)
  2. Some nodes failed to import at startup
提供されるワークフローには、以下の2つのバージョンが含まれます：
  1. lightx2v が提供する Wan2.2-Lightning 4ステップ LoRA を使用するバージョン：動画のダイナミクスがやや低下する可能性がありますが、生成速度が大幅に向上します。
  2. 加速用 LoRA を使用しない fp8_scaled バージョン。
以下は、RTX4090D（24GB VRAM）で実施した性能テスト結果（解像度：640×640、フレーム数：81）です：
モデルタイプ解像度VRAM 使用率初回生成時間2回目以降の生成時間
fp8_scaled640×64084%≈ 536秒≈ 513秒
fp8_scaled + 4ステップ LoRA640×64089%≈ 108秒≈ 71秒
4ステップ LoRA は、初回ユーザー体験を向上させますが、動画のダイナミクスが若干低下する可能性があります。デフォルトでは、加速用 LoRA を適用したバージョンが有効化されています。他のワークフローに切り替える場合は、対象ノードを選択して Ctrl+B を押してください。

​
1. ワークフローおよびアセットのダウンロード

以下の動画または JSON ファイルをダウンロードし、ComfyUI へドラッグ＆ドロップすることで、対応するワークフローを読み込むことができます。ワークフローの読み込み後、必要なモデルのダウンロードが自動的に促されます。

JSON ワークフローをダウンロード

 以下の画像をダウンロードし、入力として使用します。 入力開始画像

​
2. モデルのダウンロードリンク

以下のモデルは、Wan_2.2_ComfyUI_Repackaged から入手できます。 Diffusion モデル Wan2.2-Lightning LoRA（オプション：高速化用） VAE テキストエンコーダー ファイル保存先のディレクトリ構成： 
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​
3. ワークフローの手順通りの実行

Wan2.2 Fun Camera Control ワークフロー手順
本ワークフローは LoRA を使用しています。Diffusion モデルと LoRA の整合性を確保してください。High noise / Low noise の各モデルに対応する LoRA を正しく選択・適用する必要があります。
  1. High noise モデルおよび LoRA の読み込み
  • Load Diffusion Model ノードが wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors を読み込んでいることを確認してください。
  • LoraLoaderModelOnly ノードが wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors を読み込んでいることを確認してください。
  1. Low noise モデルおよび LoRA の読み込み
  • Load Diffusion Model ノードが wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors を読み込んでいることを確認してください。
  • LoraLoaderModelOnly ノードが wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors を読み込んでいることを確認してください。
  1. Load CLIP ノードが umt5_xxl_fp8_e4m3fn_scaled.safetensors を読み込んでいることを確認してください。
  2. Load VAE ノードが wan_2.1_vae.safetensors を読み込んでいることを確認してください。
  3. Load Image ノードで開始フレームの画像をアップロードしてください。
  4. プロンプトを編集してください（日本語および英語の両方が使用可能です）。
  5. WanCameraEmbedding ノードでカメラ制御パラメータを設定してください：
    • Camera Motion（カメラ運動）：カメラ運動の種類を選択（Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static など）
    • Width/Height（幅／高さ）：動画の解像度を設定
    • Length（長さ）：動画のフレーム数を設定（デフォルトは81フレーム）
    • Speed（速度）：動画の再生速度を設定（デフォルトは1.0）
  6. Run ボタンをクリックするか、ショートカットキー Ctrl（macOS の場合は Cmd）+ Enter を押して動画生成を実行してください。