Skip to main content
Higgsfield Genjutsu Motion Transfer 是对现有视频进行重建,而不是生成新视频。来源片段会保留其运动、相机运动、时序和音频,而演员、场景、服装和风格则根据 1 到 8 张参考图像重建。你只需描述需要改变的部分,镜头的其余内容保持拍摄时的原样。 Higgsfield 将 Genjutsu 分为两种模式:Motion Transfer 和 Object Swap。ComfyUI 通过 partner/video/Higgsfield 类别中的 HiggsfieldMotionTransferNode 提供 Motion Transfer。它是一个云端 API 节点:需要带有积分的 Comfy 账户,不下载任何模型,并按输出秒数计费,因为结果的时长取决于来源片段。 当表演已经存在、只需改变外观时,该节点非常有用。用不同的角色替换手机片段中的人物,把拍摄移到从未可用的地点,为另一个市场重新调整素材风格,或者在不逐个拍摄的情况下为一个镜头制作多个变体。
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。

Higgsfield Genjutsu:动作迁移

根据参考图像对视频进行角色替换,同时源片段保留其动作、相机运动、时间节奏和音频。

Run on Comfy Cloud

Open in Comfy Cloud

下载工作流

下载 JSON,或在模板库中搜索 “Higgsfield Genjutsu: Motion Transfer”
输入素材 将这些文件上传到对应的 LoadVideo 和 LoadImage 节点:

rooftop_dancer.mp4

LoadVideo · 来源动作片段

snow_queen_ref.png

LoadImage · 角色参考 · image_1

ice_palace_ref.png

LoadImage · 场景参考 · image_2

节点控件

输出长度与准备好的来源片段一致,因此 12 秒的片段会返回 12 秒的视频。

提示技巧

  • 明确每张参考图像替换的内容。 提示词是可选的,但它是唯一可以说明哪张图像对应哪个人或物体的地方。请将其写成简短的指令,例如把舞者重塑为第一张参考图像中的角色,并用第二张参考图像来设置新的场景。
  • 保持参考集精简。 每个元素通常一张图像就够了:一个角色、一个地点、一次服装更换或一种风格。添加更多图像会让模型需要融合的内容更多,从而使结果更难预测。
  • 让构图与你想要的一致。 输出会保留源视频片段的动作和相机,因此请选择构图已经适合最终结果的来源视频。特写表演仍会保持特写。
  • 描述变化,而不是整个场景。 提示词中未提及的一切都会根据参考图像重建,因此无需重复描述动作、节奏或音频。
  • 预期每次运行之间会有差异。 种子不会锁定结果;相同的设置也可能产生不同的效果。

开始使用

  1. 将 ComfyUI 更新到 0.40.0 或更高版本
  2. 前往 Template Library,搜索 Higgsfield Genjutsu
  3. 在 LoadVideo 节点中加载来源片段,在 LoadImage 节点中加载参考图像
  4. 编写提示词,选择 resolution,然后运行工作流