利用可能なワークフロー
- テキストから動画 — テキストプロンプトから動画を生成
- リファレンスから動画 — 参照画像、動画、または音声を使用して生成をガイド
- 最初と最後のフレームから動画 — 開始フレームと終了フレームを指定して、その間の動画を生成
リアリズムキャラクターリファレンス機能は近日公開予定です。早期アクセスに登録して、リリース時に通知を受け取りましょう。
モデルの強み
マルチモーダルリファレンスベース生成
最大9枚の参照画像、3つの参照動画、3つの参照音声ファイルを追加できます。モデルはすべてのリファレンスを活用して、一貫した出力を生成します。オブジェクトの詳細、テクスチャ、ビジュアルスタイル、音色、キャラクター特徴が生成全体を通じて維持されます。- 動画リファレンス — クリップをアップロードすると、モデルがカメラの動き、アクション振付、編集リズム、ビジュアルエフェクトを再現します
- 音声リファレンス — モデルは音素レベルでビジュアルを音楽、セリフ、効果音に同期させ、複数の言語と方言をサポートします
- 画像リファレンス — キャラクターのアイデンティティ、製品の外観、スタイルの一貫性を固定します。顔、衣服、素材のテクスチャが動画全体で安定します
精密なターゲット動画編集
既存の動画コンテンツをゼロから再生成せずに直接編集できます。- 被写体の置換 — 既存のクリップ内のキャラクターを、元のモーション、カメラワーク、構図を維持したまま入れ替え
- オブジェクトレベル編集 — シーン内の特定の要素を追加、削除、変更します。動画の残りの部分はそのまま維持されます
- インペインティング — 時間的一貫性と視覚的一貫性を維持するコンテキスト認識生成で、既存動画の領域を再構築します
シームレスな動画拡張
短いクリップを自然な連続性を持つ長いシーケンスに変換します。- 動画延長 — 任意のクリップを時間的に前方に延長します。キャラクターの外観、照明、モーションが既存の映像とスムーズにブレンドされます
- 先行シーン生成 — 既存のクリップに繋がる映像を生成し、ナラティブコンテキストを構築するために動画を後方に延長します
- 補間完成 — 2つの別々のクリップの間を、両端のビジュアルと時間的ロジックを尊重した生成中間映像でブリッジします
はじめに
Comfy Cloudで試す
Comfy CloudでSeedance 2.0を開く
- ComfyUIを最新バージョンに更新するか、Comfy Cloudにアクセスします
- ノードライブラリでSeedance 2.0ノードを見つけるか、テンプレートからSeedance 2.0テンプレートをロードします
- ノードをキャンバスにドロップして作成を開始します