可用工作流
Fabric 1.0:会说话的照片
让静态图像开口说话。照片中的人脸会与你连接的音频进行唇形同步,片段会保留图像的宽高比,因此竖版人像仍是竖版人像。它适用于照片、插画和吉祥物,因此可以为艺术作品或从未拍摄过的角色配上声音。
在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON,或在模板库中搜索“VEED Fabric 1.0: Talking Photo”
black_fashion_portrait.png
加载到
LoadImage 节点。一张清晰、正面朝向的脸audio_see_beyond_the_light.mp3
加载到
LoadAudio 节点。语音决定唇部运动和片段长度Lipsync 2.0
保留已拍摄的素材并替换说话者所说的内容。嘴部会与新音频重新同步,画面其余部分保持录制时的样子,这样就可以重写台词或为片段配音,而无需重新拍摄。
在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON,或在模板库中搜索“VEED Lipsync 2.0: Lip Sync”
rainbow_face_portrait_prism_video.mp4
加载到
LoadVideo 节点。一位正面朝向的说话者veed_lipsync_rainbow_night_speech.wav
加载到
LoadAudio 节点。要同步的新语音移除视频背景
从视频片段中抠出主体。该节点返回的不是已合成为单层的视频,而是帧以及标记背景区域的遮罩,因此主体可以合成到新场景上,或导出为透明序列。
在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON,或在模板库中搜索“VEED Remove Video Background: Matte Export”
swimcap_glass_pop_video.mp4
加载到
LoadVideo 节点。片段最长可达 60 秒Image Composite Masked 之前添加 Invert Mask;或者使用 Join Image with Alpha 后接 Save WEBM 来生成透明视频。请将 WEBM 编解码器设为 vp9:它是唯一会写入透明通道的选项,av1 会丢弃透明通道。
节点控制
背景移除的输出分辨率没有可调项:standard 和 green screen 最高返回 3840x2160,fast 最高返回 1920x1080,更大的输入会被缩小。
提示
- 发送干净、正面的素材。 Fabric 需要一张清晰可见的人脸,Lipsync 需要一位面向相机的说话者。侧脸和拥挤的画面正是这两个节点容易丢失细节的场景。
- 让音频决定时长。 两个说话类节点生成的视频片段长度与所连接的语音完全一致,因此应在运行前裁剪音频,而不是事后再修剪视频。
- 直接输入已生成的语音。 将文本转语音节点连接到
audio,人像或配音片段会随之生成,无需导出步骤。 - 仅在需要时才为边缘优化付费。 在背景移除中关闭
refine_foreground_edges会降低每帧费率,对于边缘锐利的主体值得这样做。 - 仅在真正的绿幕素材上使用绿幕模式。 绿幕模式会对背景进行抠像,且没有边缘优化或人物检测,因此自然背景应使用 standard 或 fast。
开始使用
- 将 ComfyUI 更新到最新版本
- 前往模板库,搜索
VEED