Skip to main content
Cosmos-Predict2 は、NVIDIA によって開発された次世代の物理世界基礎モデルであり、物理 AI シナリオにおける高品質な視覚生成および予測タスクのために特別に設計されています。 このモデルは、卓越した物理的正確性、環境相互作用性、および詳細再現能力を特徴とし、複雑な物理現象や動的シーンの現実的なシミュレーションを可能にします。 Cosmos-Predict2 は、テキストから画像(Text2Image)や動画から世界へ(Video2World)など、さまざまな生成方法をサポートしており、産業シミュレーション、自動運転、都市計画、科学研究などの分野で広く使用されています。 これは、インテリジェントビジョンと物理世界の深い統合を促進するための重要な基礎ツールです。

GitHub

Cosmos-Predict2 のソースコードとドキュメント

Hugging Face

Cosmos-Predict2 モデルコレクション
このガイドでは、ComfyUI での Video2World 生成の完了までの手順を説明します。 テキストから画像のセクションについては、以下の部分を参照してください。

Cosmos Predict2 Text to Image

Cosmos-Predict2 を使用したテキストから画像の生成

Comfy Cloud で実行

強力なGPUを搭載したComfy CloudでCosmos-Predict2ワークフローを実行
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

Cosmos Predict2 Video2World ワークフロー

2B バージョンをテストする場合、約 16GB の VRAM が必要です。

1. ワークフローファイル

以下の動画をダウンロードし、ComfyUI にドラッグしてワークフローを読み込んでください。ワークフローにはすでにモデルダウンロードリンクが埋め込まれています。

Comfy Cloud で実行

モデルがプリインストールされたComfy Cloudでこのワークフローを実行

ワークフローファイルをダウンロード

JSON形式のワークフローファイルをダウンロード
入力として以下の画像をダウンロードしてください。 入力画像

2. 手動モデルインストール

モデルのダウンロードが成功しなかった場合は、このセクションで手動でダウンロードしてください。 Diffusion model

Diffusion Model

cosmos_predict2_2B_video2world_480p_16fps.safetensors
他の重みについては、Cosmos_Predict2_repackaged にアクセスしてダウンロードしてください。 Text encoder

Text Encoder

oldt5_xxl_fp8_e4m3fn_scaled.safetensors
VAE

VAE

wan_2.1_vae.safetensors
ファイル保存場所

3. ワークフローを段階的に完了する

ワークフロー手順ガイド 画像の手順に従ってワークフローを実行してください。
  1. Load Diffusion Model ノードが cosmos_predict2_2B_video2world_480p_16fps.safetensors を読み込んでいることを確認してください
  2. Load CLIP ノードが oldt5_xxl_fp8_e4m3fn_scaled.safetensors を読み込んでいることを確認してください
  3. Load VAE ノードが wan_2.1_vae.safetensors を読み込んでいることを確認してください
  4. Load Image ノードで提供された入力画像をアップロードしてください
  5. (オプション) 最初と最後のフレーム制御が必要な場合は、ショートカット Ctrl(cmd) + B を使用して最後のフレーム入力を有効にしてください
  6. (オプション) ClipTextEncode ノードでプロンプトを変更できます
  7. (オプション) CosmosPredict2ImageToVideoLatent ノードでサイズとフレーム数を変更してください
  8. Run ボタンをクリックするか、ショートカット Ctrl(cmd) + Enter を使用してワークフローを実行してください
  9. 生成が完了すると、動画は自動的に ComfyUI/output/ ディレクトリに保存されます。save video ノードでプレビューすることもできます