メインコンテンツへスキップ
HeyGen Avatar 6 は、写真、短いキャラクタービデオ、または HeyGen アバターのルックを、提供した音声または記述したセリフにリップシンクさせたトーキングクリップに変換します。 ComfyUI では 2 つのパートナーノードを通じて実行されます。HeyGen Avatar 6 Reference to Video は、写真またはスタイライズされたキャラクターを独自のオーディオトラックに合わせてアニメーション化します。HeyGen Avatar 6 Identity to Video は、選択した声で、記述したスクリプトからストックまたはカスタムのアバターをレンダリングします。どちらもクラウド API ノードです。クレジット付きの Comfy アカウントが必要で、ローカルモデルはダウンロードされません。料金はパートナーノードの料金ページに記載されています。 すべての実行は 1080p または 2K で、16:9、9:16、1:1、4:5、5:4 のいずれかでレンダリングされ、クリップの長さは音声に合わせて決まります。heygen-avatar-6 がデフォルトのエンジンです。heygen-avatar-6-turbo はより高速で安価なオプションです。
APIノードを使用するには、正しくログインしていることと、許可されたネットワーク環境で使用していることを確認する必要があります。APIノードの使用に必要な具体的な要件については、ドキュメントの「APIノードの概要」セクションをご参照ください。
ComfyUI が最新版に更新されていることを確認してください。このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因:
  1. 最新の ComfyUI(Nightly 版)を使用していない
  2. 起動時に一部のノードのインポートに失敗している

利用可能なワークフロー

写真またはビデオからビデオへ

1枚の写真、スタイライズされたキャラクターの短いビデオ、またはその両方を、自分のオーディオで話すクリップに変換します。レンダーの長さはオーディオによって決まります。
  • 写真はアイデンティティとシーンを設定します。最初のフレームとしては使用されません。モデルがポーズを再構成するため、腕を組んだ写真はポーズを変えて返されます。
  • 参照ビデオはキャラクターの話し方や動きを示すもので、長さは最低2秒です。より長いクリップは最初の30秒にトリミングされます。実在の人物を写したビデオは拒否されます。代わりにその人物の写真を接続してください。
  • オーディオの長さは1.5秒から10分までです。

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで “HeyGen Avatar 6: Photo to Video” を検索してください
入力素材

pink_hair_portrait.png

image 入力に読み込む

avatar6_narration.mp3

audio 入力に読み込む

アイデンティティからビデオへ

撮影なしでプレゼンターをレンダリングします。ストックのルックまたは自分で作成したアバターを選び、セリフを書き、ボイスを選択します。speech が script のときは何も接続する必要はありません。audio のときは Load Audio ノードを audio 入力に接続してください。 speech には2つのモードがあります。script はセリフを text(最大5000文字)に書き込み、選択した voice で読み上げます。任意で voice_speed の倍率を指定できます。audio は0.5秒から10分までの自分のクリップを使用し、クリップの長さがレンダーの長さになります。

Comfy Cloud で実行

Comfy Cloud で開く

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで “HeyGen Avatar 6: Identity to Video” を検索してください
このテンプレートには、独自のアバターとボイスを作成する2つのバイパスされたグループも含まれています。グループのノードを選択して Ctrl+B でバイパスを解除し、実行 または Ctrl+Enter でワークフローを実行してから、保存された ID を再利用してください。保存されるテキストはプレフィックスと ID を連結したものなので、先に Concatenate Text の string_a のプレフィックスを消すか、作成ノードの出力から生の ID をコピーしてください:
  • Avatar: source を photo に設定した HeyGen Create Avatar がルック ID を返します。メインノードで avatar を custom avatar に設定し、その ID を custom_avatar_id に貼り付けます。pink_hair_portrait.png はテンプレートに同梱されています。
  • Voice: HeyGen Voice 1.0 Instant Clone は、少なくとも10秒のクリーンな単一話者のオーディオからボイス ID を返します。それを custom_voice_id に貼り付けてください。空でない限り、voice ドロップダウンを上書きします。avatar6_voice_sample.mp3 はテンプレートに同梱されています。

ノードのコントロール

Reference to Video は画像、ビデオ、またはその両方を接続する必要があります。Identity to Video は script モードでは入力の接続が不要で、audio モードではオーディオ入力が必要です。

プロンプトのヒント

  • motion_prompt で演技を指示する。アバターがどのように話し、動くかを指定します。キーワードに合わせたジェスチャー、リラックスした肩、わずかな首の傾き、カメラへのゆっくりとしたプッシュインなどです。ニュートラルな演出にしたい場合は空のままにします。
  • フレームがタイトなときはジェスチャーを小さくする。頭と肩のクロップでは motion_expressiveness を less に設定します。大きなジェスチャーはフレームからはみ出してしまうためです。
  • クリーンな単一話者のオーディオを使う。背景音楽や2人目の声がトラックに含まれていると、リップシンクに現れてしまいます。ボイスクローンなら、10秒の連続した発話で十分です。
  • 写真は接続する前にフレーミングする。auto は写真の形状を維持するため、後からフレーミングし直すのではなく、希望するアスペクト比にクロップしてください。

はじめる

  1. ComfyUIを最新バージョンにアップデートする
  2. テンプレートライブラリに移動し、HeyGen Avatar 6 を検索する