ComfyUI Hunyuan Video 使用例

• コアアーキテクチャ： Sora と同様の DiT (Diffusion Transformer) アーキテクチャを採用し、テキスト、画像、動作情報を効果的に融合させることで、生成された動画フレーム間の一貫性、品質、整合性を向上させます。統一されたフルアテンション機構により、被写体の一貫性を保ちながらマルチビューのカメラ遷移を実現します。
• 3D VAE： カスタム 3D VAE は動画をコンパクトな潜在空間に圧縮し、画像から動画の生成をより効率的にします。
• 優れた画像・動画・テキストの整合性： 画像と動画生成の両方に優れた MLLM テキストエンコーダーを利用し、テキスト指示への追従、詳細の捕捉、複雑な推論をより良く行います。

​

すべてのワークフローで共通のモデル

• clip_l.safetensors
• llava_llama3_fp8_scaled.safetensors
• hunyuan_video_vae_bf16.safetensors

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors

​

Hunyuan テキストから動画ワークフロー

​

1. ワークフロー

下の画像をダウンロードし、ComfyUI にドラッグしてワークフローを読み込んでください：

​

2. モデルの手動インストール

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                       // 共通モデル
│   │   └── llava_llama3_fp8_scaled.safetensors      // 共通モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors       // 共通モデル
│   └── diffusion_models/
│       └── hunyuan_video_t2v_720p_bf16.safetensors  // T2V モデル

​

3. ワークフローの実行手順

1. DualCLIPLoader ノードで以下のモデルがロードされていることを確認してください：
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load Diffusion Model ノードで hunyuan_video_t2v_720p_bf16.safetensors がロードされていることを確認してください
3. Load VAE ノードで hunyuan_video_vae_bf16.safetensors がロードされていることを確認してください
4. Queue ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行します

​

Hunyuan 画像から動画ワークフロー

• v1 “concat”: 動きの流暢さは優れていますが、画像ガイドへの準拠度は低いです
• v2 “replace”: v1 の翌日に更新されたバージョンで、画像ガイドは優れていますが、v1 に比べてダイナミクスが劣るようです

v1”concat”

v2”replace”

​

v1 および v2 バージョンで共通のモデル

• llava_llama3_vision.safetensors

​

V1”concat”画像から動画ワークフロー

​

1. ワークフローおよびアセット

下のワークフロー画像をダウンロードし、ComfyUI にドラッグしてワークフローを読み込んでください：

下の画像をダウンロードしてください。これは画像から動画生成の起始フレームとして使用します：

​

2. 関連モデルの手動インストール

• hunyuan_video_image_to_video_720p_bf16.safetensors

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                     // I2V 共通モデル
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                  // 共通モデル
│   │   └── llava_llama3_fp8_scaled.safetensors                 // 共通モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                  // 共通モデル
│   └── diffusion_models/
│       └── hunyuan_video_image_to_video_720p_bf16.safetensors  // I2V v1"concat"バージョンモデル

​

3. ワークフローの実行手順

1. DualCLIPLoader で以下のモデルがロードされていることを確認してください：
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Vision で llava_llama3_vision.safetensors がロードされていることを確認してください
3. Load Image Model で hunyuan_video_image_to_video_720p_bf16.safetensors がロードされていることを確認してください
4. Load VAE で vae_name: hunyuan_video_vae_bf16.safetensors がロードされていることを確認してください
5. Load Diffusion Model で hunyuan_video_image_to_video_720p_bf16.safetensors がロードされていることを確認してください
6. Queue ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行します

​

v2”replace”画像から動画ワークフロー

​

1. ワークフローおよびアセット

下のワークフロー画像をダウンロードし、ComfyUI にドラッグしてワークフローを読み込んでください：

下の画像をダウンロードしてください。これは画像から動画生成の起始フレームとして使用します：

​

2. 関連モデルの手動インストール

• hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                                // I2V 共通モデル
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                             // 共通モデル
│   │   └── llava_llama3_fp8_scaled.safetensors                            // 共通モデル
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                             // 共通モデル
│   └── diffusion_models/
│       └── hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors  // V2"replace"バージョンモデル

​

3. ワークフローの実行手順

1. DualCLIPLoader ノードで以下のモデルがロードされていることを確認してください：
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Vision ノードで llava_llama3_vision.safetensors がロードされていることを確認してください
3. Load Image Model ノードで hunyuan_video_image_to_video_720p_bf16.safetensors がロードされていることを確認してください
4. Load VAE ノードで hunyuan_video_vae_bf16.safetensors がロードされていることを確認してください
5. Load Diffusion Model ノードで hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors がロードされていることを確認してください
6. Queue ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行します

​

自分で試してみる

Futuristic robot dancing ballet, dynamic motion, fast motion, fast shot, moving scene

Samurai waving sword and hitting the camera. camera angle movement, zoom in, fast scene, super fast, dynamic

flying car fastly moving and flying through the city

cyberpunk car race in night city, dynamic, super fast, fast shot