メインコンテンツへスキップ
VEED Dubbing は、クリップ内の音声を別の言語に翻訳します。各話者の声はクローンされ、唇の動きも翻訳に合わせて再同期されるため、字幕としてではなく、ターゲット言語で話しているように見えます。 ComfyUI では VEED Dubbing ノードとして利用でき、2つのモデルティアがあります。standard はより安価なティアで、モノラルオーディオ、85 のターゲット言語に対応し、スペイン語はラテンアメリカ版、ポルトガル語はブラジル版として扱われます。pro は地域アクセントとステレオオーディオを追加し、English (UK)、Spanish (Mexico)、Chinese (Taiwan) などのバリアントを含む 101 のターゲット言語に到達します。 これはクラウド API ノードです。クレジット付きの Comfy アカウントが必要で、モデルファイルのダウンロードは行わず、出力の秒単位で課金されます。現在の料金についてはパートナーノードの料金をご覧ください。
APIノードを使用するには、正しくログインしていることと、許可されたネットワーク環境で使用していることを確認する必要があります。APIノードの使用に必要な具体的な要件については、ドキュメントの「APIノードの概要」セクションをご参照ください。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

利用可能なワークフロー

VEED Dubbing: ビデオ翻訳

手持ちのクリップを翻訳します。演技、ショット、タイミングは撮影時のまま維持され、変わるのは話者が聞こえる言語です。 VEED Dubbing ワークフローのプレビュー

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「VEED Dubbing: Video Translation」を検索してください
入力素材

api_veed_dubbing_input_video.mp4

LoadVideo ノードに読み込みます。カメラの方を向いた話者が 1 人
クリップは最大 599 秒で、出力はそのオーディオトラックと同じ長さになり、25 fps です。

ノードのコントロール

ヒント

  • 話者が映っている映像を送信します。 吹き替えは見える内容に基づいて機能するため、カメラの方を向いた1人の人物が確実なケースです。後頭部、手、商品のショット、群衆のシーンは吹き替えされません。
  • オーディオに実際に発話が含まれていることを確認します。 ナレーション、対話、インタビューはいずれも機能します。音楽、効果音、無音にはモデルが翻訳できるものがありません。
  • auto が聞き間違える場合はソース言語を指定します。 auto はクリーンな録音を処理しますが、短いクリップや強いアクセントでは、source_language を自分で設定するとより正確に吹き替えられます。
  • アクセントが重要な場合は pro を選択します。 スタンダードティアでは言語ごとに1つのバリエーションのみが提供されるため、イギリス英語やメキシコのスペイン語のリクエストは pro でのみ利用できます。
  • まず長さ制限に収まるようにカットします。 ノードは最大599秒のビデオを受け付け、出力はオーディオトラックと同じ長さになるため、実行後にトリミングするのではなく実行前にトリミングしてください。

はじめる

  1. ComfyUIを最新バージョンにアップデートします
  2. テンプレートライブラリに移動し、VEED Dubbing を検索します
  3. LoadVideo ノードにトーキングヘッドのクリップを読み込みます
  4. model でティアを選択し、target_language を設定してから、ワークフローを実行します