跳转到主要内容
HeyGen Avatar 6 可将一张照片、一段简短的角色视频或一个 HeyGen 数字人形象转成一段说话片段,其口型与你提供或撰写的语音同步。 在 ComfyUI 中,它通过两个合作节点运行。HeyGen Avatar 6 Reference to Video 用你自己的音频轨为照片或风格化角色制作动画。HeyGen Avatar 6 Identity to Video 根据撰写的脚本、以你选择的音色渲染预设或自定义数字人。两者都是云端 API 节点:需要拥有积分余额的 Comfy 账户,且不下载任何本地模型。费率见合作节点定价页面。 每次运行都以 1080p 或 2K 渲染,画幅为 16:9、9:16、1:1、4:5 或 5:4,片段长度跟随语音。heygen-avatar-6 是默认引擎;heygen-avatar-6-turbo 是更快、更便宜的选择。
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。

可用工作流

照片或视频转视频

将一张照片、一段风格化角色的短视频,或两者结合,生成一段由你自己的音频驱动的说话视频。音频决定渲染的时长。
  • 照片用于确定身份和场景。它不会被用作首帧:模型会重新调整姿势,因此一张双臂交叉的照片在输出时姿势会被重新调整。
  • 参考视频展示角色的说话和动作方式,长度至少为 2 秒。较长的片段会被裁剪到前 30 秒。真人视频会被拒绝;请改为连接该人物的照片。
  • 音频长度范围为 1.5 秒到 10 分钟。

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “HeyGen Avatar 6: Photo to Video”
输入素材

pink_hair_portrait.png

加载到 image 输入

avatar6_narration.mp3

加载到 audio 输入

身份转视频

无需拍摄即可渲染出镜者:选择一个预设形象或你创建的虚拟人,编写台词,然后选择声音。speech 设为 script 时该节点无需连接任何内容;设为 audio 时,请把 Load Audio 节点连接到 audio 输入。 speech 有两种模式。script 将台词写入 text(最多 5000 个字符),并用所选的 voice 朗读,可选用 voice_speed 倍数。audio 接收你自己的 0.5 秒到 10 分钟音频片段,片段长度即为渲染长度。

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索 “HeyGen Avatar 6: Identity to Video”
模板还附带两个处于绕过状态的分组,用于创建你自己的虚拟人和声音。选中该分组的节点,按 Ctrl+B 取消绕过,然后用 运行 或 Ctrl+Enter 执行工作流,再复用保存的 ID。请先清空 Concatenate Text 中 string_a 的前缀,或直接从创建节点的输出中复制原始 ID,因为保存下来的文本是前缀加 ID:
  • 虚拟人:将 source 设为 photo 的 HeyGen Create Avatar 会返回一个形象 ID。在主节点上将 avatar 设为 custom avatar,并将该 ID 粘贴到 custom_avatar_id。pink_hair_portrait.png 随模板提供。
  • 声音:HeyGen Voice 1.0 Instant Clone 会根据至少 10 秒清晰、单人说话的音频返回一个声音 ID。将其粘贴到 custom_voice_id;只要它不为空,就会覆盖 voice 下拉菜单。avatar6_voice_sample.mp3 随模板提供。

节点控制

Reference to Video 需要连接图像、视频,或两者都连接。Identity to Video 在 script 模式下不需要连接任何输入;audio 模式下需要连接音频输入。

提示技巧

  • 在 motion_prompt 中描述表演。说明数字人如何说话和移动:在关键词上做手势、肩膀放松、头部轻微倾斜,以及相机缓慢推近。留空即可获得中性表演。
  • 画面紧凑时保持手势幅度小。对于头肩裁切,将 motion_expressiveness 设为 less,因为幅度大的手势会离开画面。
  • 使用干净的单人语音音频。音轨中的背景音乐或第二个声音会出现在唇形同步中。对于声音克隆,10 秒连续语音就足够了。
  • 在连接照片之前先调整构图。auto 会保留照片的形状,因此请裁剪为所需的宽高比,而不是之后再重新取景。

开始使用

  1. 将 ComfyUI 更新到最新版本
  2. 前往模板库,搜索 HeyGen Avatar 6