Skip to main content
VEED 视频节点覆盖了那些通常需要借助另一个应用才能完成的编辑步骤:把静态图像变成会说话的人像、替换现有素材中的语音,以及把主体从背景中抠出来。 在 ComfyUI 中,该提供商通过三个合作节点实现。VEED Fabric 1.0 依据音频轨道让照片动起来。VEED Lipsync 2.0 让说话者的口型与新对白重新同步。VEED Remove Video Background 返回各帧和一张透明度遮罩,而不是一段已经压平的视频,因此主体可以合成进任意画面。这三个都是云端 API 节点:它们需要带有积分的 Comfy 账户,并且不会在本地下载任何模型文件。 每个节点都按你发送的视频片段的秒数或帧数计费。音频和视频的语音清理请见 VEED Clean Audio。
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。

可用工作流

Fabric 1.0:会说话的照片

让静态图像开口说话。照片中的人脸会与你连接的音频进行唇形同步,片段会保留图像的宽高比,因此竖版人像仍是竖版人像。它适用于照片、插画和吉祥物,因此可以为艺术作品或从未拍摄过的角色配上声音。 VEED Fabric 1.0: Talking Photo 工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索“VEED Fabric 1.0: Talking Photo”
输入素材

black_fashion_portrait.png

加载到 LoadImage 节点。一张清晰、正面朝向的脸

audio_see_beyond_the_light.mp3

加载到 LoadAudio 节点。语音决定唇部运动和片段长度
音频最长可达 300 秒,视频长度与音频完全相同。分辨率可选 480p 或 720p:480p 在 16:9 下约为 864x480,720p 为 1312x736。

Lipsync 2.0

保留已拍摄的素材并替换说话者所说的内容。嘴部会与新音频重新同步,画面其余部分保持录制时的样子,这样就可以重写台词或为片段配音,而无需重新拍摄。 VEED Lipsync 2.0 工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索“VEED Lipsync 2.0: Lip Sync”
输入素材

rainbow_face_portrait_prism_video.mp4

加载到 LoadVideo 节点。一位正面朝向的说话者

veed_lipsync_rainbow_night_speech.wav

加载到 LoadAudio 节点。要同步的新语音
新语音最长可达 600 秒,并决定输出长度。视频保持其来源分辨率,帧率为 25 fps。当素材比音频短时,它会先正向播放再反向播放,直到音频结束;因此,如果镜头需要保持其方向,请发送足够长的片段。

移除视频背景

从视频片段中抠出主体。该节点返回的不是已合成为单层的视频,而是帧以及标记背景区域的遮罩,因此主体可以合成到新场景上,或导出为透明序列。 VEED Remove Video Background 工作流预览

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索“VEED Remove Video Background: Matte Export”
输入素材

swimcap_glass_pop_video.mp4

加载到 LoadVideo 节点。片段最长可达 60 秒
该模板会将遮罩转换为 PNG 序列的透明度。当你希望将主体作为合成遮罩时,在 Image Composite Masked 之前添加 Invert Mask;或者使用 Join Image with Alpha 后接 Save WEBM 来生成透明视频。请将 WEBM 编解码器设为 vp9:它是唯一会写入透明通道的选项,av1 会丢弃透明通道。

节点控制

背景移除的输出分辨率没有可调项:standard 和 green screen 最高返回 3840x2160,fast 最高返回 1920x1080,更大的输入会被缩小。

提示

  • 发送干净、正面的素材。 Fabric 需要一张清晰可见的人脸,Lipsync 需要一位面向相机的说话者。侧脸和拥挤的画面正是这两个节点容易丢失细节的场景。
  • 让音频决定时长。 两个说话类节点生成的视频片段长度与所连接的语音完全一致,因此应在运行前裁剪音频,而不是事后再修剪视频。
  • 直接输入已生成的语音。 将文本转语音节点连接到 audio,人像或配音片段会随之生成,无需导出步骤。
  • 仅在需要时才为边缘优化付费。 在背景移除中关闭 refine_foreground_edges 会降低每帧费率,对于边缘锐利的主体值得这样做。
  • 仅在真正的绿幕素材上使用绿幕模式。 绿幕模式会对背景进行抠像,且没有边缘优化或人物检测,因此自然背景应使用 standard 或 fast。

开始使用

  1. 将 ComfyUI 更新到最新版本
  2. 前往模板库,搜索 VEED