Skip to main content

Wan2.1-Fun-InP について

Wan-Fun InP は、アリババによってリリースされたオープンソースの動画生成モデルで、Wan2.1-Fun シリーズの一部であり、画像から動画を生成し、最初と最後のフレームを制御することに重点を置いています。 主な機能:
  • 最初と最後のフレーム制御: 最初と最後のフレーム画像の両方を入力して、それらの間の遷移動画を生成することをサポートし、動画の一貫性と創造の自由度を向上させます。以前のコミュニティバージョンと比較して、アリババの公式モデルはより安定しており、品質が大幅に向上しています。
  • マルチ解像度サポート: 512×512、768×768、1024×1024 などの解像度で動画を生成することをサポートし、さまざまなシナリオの要件に対応します。
モデルバージョン:
  • 1.3B 軽量版: ローカル導入と高速推論に適しており、VRAM 要件が低い
  • 14B 高性能版: モデルサイズは 32GB+ に達し、より良い結果を提供しますが、より高い VRAM が必要です
以下は関連するモデル重みとコードリポジトリです:
現在、ComfyUI は Wan2.1 Fun InP モデルをネイティブにサポートしています。このチュートリアルを開始する前に、ComfyUI を更新して、バージョンが このコミット 以降であることを確認してください。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

Wan2.1 Fun InP ワークフロー

1. ワークフローをダウンロード

下の画像をダウンロードし、ComfyUI へドラッグしてワークフローを読み込みます: Wan2.1 Fun InP ワークフロー

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSONをダウンロードするか、テンプレートライブラリで「Wan 2.1 Inpainting」を検索してください

開始画像

ビデオ生成の開始フレームです。この画像をダウンロードして使用するか、ご自身の画像に置き換えてください。

終了画像

ビデオ生成の終了フレームです。この画像をダウンロードして使用するか、ご自身の画像に置き換えてください。

2. 手動モデルインストール

自動モデルダウンロードが効果的でない場合は、モデルを手動でダウンロードし、対応するフォルダーに保存してください。 このガイドで使用するすべてのモデルは、Wan_2.1_ComfyUI_repackagedWan2.1-Fun にあります。 拡散モデル : 1.3B または 14B を選択してください。14B バージョンはファイルサイズが大きく(32GB)、VRAM 要件も高くなります:

拡散モデル: Wan2.1 Fun InP 1.3B

models/diffusion_models/wan2.1_fun_inp_1.3B_bf16.safetensors

拡散モデル: Wan2.1 Fun InP 14B

models/diffusion_models/Wan2.1-Fun-14B-InP.safetensors (ダウンロード後に名前を変更)
テキストエンコーダー : 以下のモデルのいずれかを選択してください(fp16精度はファイルサイズが大きく、パフォーマンス要件も高くなります):

テキストエンコーダー: umt5_xxl_fp16

models/text_encoders/umt5_xxl_fp16.safetensors

テキストエンコーダー: umt5_xxl_fp8

models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors
VAE

VAE: wan_2.1_vae

models/vae/wan_2.1_vae.safetensors
CLIP Vision

CLIP Vision: clip_vision_h

models/clip_vision/clip_vision_h.safetensors
ファイル保存場所:

3. ワークフローを段階的に完了する

ComfyUI Wan2.1 Fun InP ビデオ生成ワークフロー図
  1. Load Diffusion Model ノードが wan2.1_fun_inp_1.3B_bf16.safetensors をロードしていることを確認してください
  2. Load CLIP ノードが umt5_xxl_fp8_e4m3fn_scaled.safetensors をロードしていることを確認してください
  3. Load VAE ノードが wan_2.1_vae.safetensors をロードしていることを確認してください
  4. Load CLIP Vision ノードが clip_vision_h.safetensors をロードしていることを確認してください
  5. 開始フレームを Load Image ノード(Start_image に改名済み)へアップロードしてください
  6. 2 番目の Load Image ノードへ終了フレームをアップロードしてください
  7. (オプション)プロンプトを変更してください(英語と中国語の両方がサポートされています)
  8. (オプション)WanFunInpaintToVideo でビデオサイズを調整し、過度に大きな寸法を避けてください
  9. Run ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してビデオ生成を実行してください

4. ワークフローの注意事項

正しいモデルを使用するようにしてください。wan2.1_fun_inp_1.3B_bf16.safetensorswan2.1_fun_control_1.3B_bf16.safetensors は同じフォルダーに保存されており、名前が非常に似ています。正しいモデルを使用していることを確認してください。
  • Wan Fun InP を使用する場合、対応するシーン遷移の精度を確保するために、プロンプトを頻繁に変更する必要があるかもしれません。

その他の Wan2.1 Fun InP またはビデオ関連のカスタムノードパッケージ