ComfyUI Hunyuan Video 使用例

• コアアーキテクチャ： Sora と同様の DiT (Diffusion Transformer) アーキテクチャを採用し、テキスト、画像、動作情報を効果的に融合させることで、生成された動画フレーム間の一貫性、品質、整合性を向上させます。統一されたフルアテンション機構により、被写体の一貫性を保ちながらマルチビューのカメラ遷移を実現します。
• 3D VAE： カスタム 3D VAE は動画をコンパクトな潜在空間に圧縮し、画像から動画の生成をより効率的にします。
• 優れた画像・動画・テキストの整合性： 画像と動画生成の両方に優れた MLLM テキストエンコーダーを利用し、テキスト指示への追従、詳細の捕捉、複雑な推論をより良く行います。

​

すべてのワークフローで共通のモデル

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors

​

Hunyuan テキストから動画ワークフロー

​

1. ワークフロー

​

2. モデルの手動インストール

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                       // 共通モデル
│   │   └── llava_llama3_fp8_scaled.safetensors      // 共通モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors       // 共通モデル
│   └── diffusion_models/
│       └── hunyuan_video_t2v_720p_bf16.safetensors  // T2V モデル

​

3. ワークフローの実行手順

1. DualCLIPLoader ノードで以下のモデルがロードされていることを確認してください：
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load Diffusion Model ノードで hunyuan_video_t2v_720p_bf16.safetensors がロードされていることを確認してください
3. Load VAE ノードで hunyuan_video_vae_bf16.safetensors がロードされていることを確認してください
4. Queue ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行します

​

Hunyuan 画像から動画へのワークフロー

• v1 “concat”: 動きの流動性は高いが、画像ガイダンスへの従属性は低い
• v2 “replace”: v1の翌日に更新済みで、画像ガイダンスは改善されているが、v1と比較すると動きのダイナミックさがやや劣る

v1 “concat”

v2 “replace”

​

v1 と v2 バージョン共通のモデル

​

V1 “concat” 画像から動画へのワークフロー

​

1. ワークフローとアセット

​

2. 関連モデルの手動インストール

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                     // I2V 共有モデル
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                  // 共有モデル
│   │   └── llava_llama3_fp8_scaled.safetensors                 // 共有モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                  // 共有モデル
│   └── diffusion_models/
│       └── hunyuan_video_image_to_video_720p_bf16.safetensors  // I2V v1 "concat" バージョンモデル

​

3. ワークフローの実行手順

1. DualCLIPLoader が以下のモデルを読み込んでいることを確認します：
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Vision が llava_llama3_vision.safetensors を読み込んでいることを確認します
3. Load Image Model が hunyuan_video_image_to_video_720p_bf16.safetensors を読み込んでいることを確認します
4. Load VAE が vae_name: hunyuan_video_vae_bf16.safetensors を読み込んでいることを確認します
5. Load Diffusion Model が hunyuan_video_image_to_video_720p_bf16.safetensors を読み込んでいることを確認します
6. Queue ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行します

​

v2「置き換え」画像から動画へのワークフロー

​

1. ワークフローとアセット

​

2. 関連モデルの手動インストール

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                                // I2V共有モデル
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                             // 共有モデル
│   │   └── llava_llama3_fp8_scaled.safetensors                            // 共有モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                             // 共有モデル
│   └── diffusion_models/
│       └── hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors  // V2「置き換え」バージョンモデル

​

3. ワークフローの実行手順

1. デュアルCLIP読み込みノードに以下のモデルがロードされていることを確認します。
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Visionノードにllava_llama3_vision.safetensorsがロードされていることを確認します。
3. 画像モデル読み込みノードにhunyuan_video_image_to_video_720p_bf16.safetensorsがロードされていることを確認します。
4. VAE読み込みノードにhunyuan_video_vae_bf16.safetensorsがロードされていることを確認します。
5. Load Diffusion Modelノードにhunyuan_video_v2_replace_image_to_video_720p_bf16.safetensorsがロードされていることを確認します。
6. キューボタンをクリックするか、ショートカットCtrl(cmd) + Enterを使用してワークフローを実行します。

​

自分で試してみる

Futuristic robot dancing ballet, dynamic motion, fast motion, fast shot, moving scene

Samurai waving sword and hitting the camera. camera angle movement, zoom in, fast scene, super fast, dynamic

flying car fastly moving and flying through the city

cyberpunk car race in night city, dynamic, super fast, fast shot