Skip to main content
VEED のビデオノードは、通常であれば別のアプリケーションが必要になる編集作業をカバーします。静止画像を話すポートレートに変えること、既存の映像内の音声を差し替えること、被写体を背景から切り抜くことです。 ComfyUI では、プロバイダーは3つのパートナーノードを通じて実行されます。VEED Fabric 1.0 は写真をオーディオトラックからアニメーション化します。VEED Lipsync 2.0 は話者を新しいセリフに再同期します。VEED Remove Video Background は平坦化されたビデオではなくフレームとアルファマスクを返すため、被写体をあらゆるものにコンポジットできます。3つともクラウド APIノードです。Comfy アカウントとクレジットが必要で、モデルファイルはローカルにダウンロードされません。 各ノードは、送信したクリップの秒数またはフレーム数に応じて課金されます。オーディオとビデオの音声クリーンアップについては VEED Clean Audio を参照してください。
APIノードを使用するには、正しくログインしていることと、許可されたネットワーク環境で使用していることを確認する必要があります。APIノードの使用に必要な具体的な要件については、ドキュメントの「APIノードの概要」セクションをご参照ください。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因：
  1. 最新の ComfyUI（Nightly 版）を使用していない
  2. 起動時に一部のノードのインポートに失敗している

​
利用可能なワークフロー

​
Fabric 1.0: Talking Photo

静止画像を話させます。写真の顔は接続したオーディオにリップシンクされ、クリップは画像のアスペクト比を維持するため、ポートレートはポートレートのままです。写真、イラスト、マスコットに使えるため、アートワークや撮影されたことのないキャラクターに声を与える手段になります。 VEED Fabric 1.0: Talking Photo ワークフローのプレビュー

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「VEED Fabric 1.0: Talking Photo」を検索してください
入力マテリアル

black_fashion_portrait.png

LoadImage ノードに読み込みます。はっきりとした正面向きの顔を1つ

audio_see_beyond_the_light.mp3

LoadAudio ノードに読み込みます。音声が口の動きとクリップの長さを決めます
オーディオは最長 300 秒で、ビデオの長さはオーディオとまったく同じになります。解像度は 480p または 720p で、480p は 16:9 で約 864x480、720p は 1312x736 です。

​
Lipsync 2.0

すでに撮影した映像をそのまま使い、話者のセリフを差し替えます。口元が新しいオーディオに再同期され、フレームの残りの部分は撮影時のまま維持されるため、再撮影なしでセリフを書き換えたり、クリップに吹き替えを入れたりできます。 VEED Lipsync 2.0 ワークフローのプレビュー

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「VEED Lipsync 2.0: Lip Sync」を検索してください
入力マテリアル

rainbow_face_portrait_prism_video.mp4

LoadVideo ノードに読み込みます。正面向きの話者を1人

veed_lipsync_rainbow_night_speech.wav

LoadAudio ノードに読み込みます。同期先となる新しい音声
新しい音声は最長 600 秒で、出力の長さを決めます。ビデオはソースの解像度を 25 fps で維持します。映像がオーディオより短い場合は、オーディオが終わるまで順再生と逆再生を繰り返すため、ショットの向きを保つ必要があるときは十分な長さのクリップを送ってください。

​
ビデオ背景の削除

クリップから被写体を切り抜きます。フラット化されたビデオではなく、ノードはフレームと背景を示すマスクを返すため、被写体を新しいシーンに合成したり、透過シーケンスとしてエクスポートしたりできます。 VEED ビデオ背景の削除ワークフローのプレビュー

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「VEED Remove Video Background: Matte Export」を検索してください
入力マテリアル

swimcap_glass_pop_video.mp4

LoadVideo ノードに読み込みます。クリップは最長 60 秒
テンプレートはマスクを PNG シーケンス用のアルファに変換します。被写体を合成用マスクとして使いたい場合は Image Composite Masked の前に Invert Mask を追加し、透過ビデオにしたい場合は Join Image with Alpha に続けて Save WEBM を追加します。WEBM のコーデックは vp9 に設定してください。アルファチャンネルを書き出せるのはこのコーデックだけで、av1 ではアルファが失われます。

​
ノードコントロール

背景除去の出力解像度は制御できません。standard と green screen は最大 3840x2160、fast は最大 1920x1080 を返し、それより大きい入力はダウンスケールされます。

​
ヒント

  • クリーンで正面を向いた映像を送ってください。 Fabric は見える顔が 1 つであることを必要とし、Lipsync は話者 1 人がカメラを見ていることを必要とします。横顔や人が混み合ったフレームでは、どちらのノードもディテールを失います。
  • オーディオで長さを決めましょう。 どちらのトーキングノードも、接続した音声とまったく同じ長さのクリップを生成するため、後からビデオをトリミングするのではなく、実行前にオーディオをカットしてください。
  • 生成済みの音声をそのまま入力します。 テキスト読み上げノードを audio に接続すれば、エクスポートの手順を挟まずに、ポートレートや吹き替えクリップがその音声に合わせて生成されます。
  • エッジ調整には、必要なときだけ料金を支払いましょう。 背景除去で refine_foreground_edges をオフにするとフレームあたりの料金が下がるため、輪郭がはっきりした被写体ではオフにする価値があります。
  • グリーンスクリーンは実際のグリーンスクリーン撮影素材にのみ使用してください。 グリーンスクリーンモードは背景をキーイングし、エッジ調整や人物検出は行わないため、自然な背景には standard または fast を使用してください。

​
はじめる

  1. ComfyUIを最新バージョンにアップデートする
  2. テンプレートライブラリに移動し、VEED を検索する