跳转到主要内容
Kling 2.6 Motion Control 是由快手开发的专门多模态模型,能够实现从参考视频到角色图像的精准动作迁移。通过结合 参考图像(你的角色)和 动作参考视频(动作来源),AI 会将视频中的动作、表情和节奏应用到你的静态角色上,同时保持角色的身份特征。 与标准的图生视频不同,Motion Control 使用参考视频作为动作蓝图,而不是从文本提示词猜测动作。该模型就像一个数字木偶师,从参考视频中提取编舞动作,并以电影级的保真度应用到你的角色上。

产品亮点

  • 复杂动作处理: 能够执行舞蹈动作、武术或运动等复杂序列,同时保持角色的一致性。模型理解重心转移和动量,能呈现逼真的物理效果。
  • 精准的手部和手指表现: 手部一直是 AI 视频的弱点。此功能通过模仿真实素材,专门改进了手指关节和手部动作的表现,非常适合演示和展示类内容。
  • 场景和环境灵活性: 使用文本提示词改变环境,同时角色继续执行参考的动作。你不受限于参考视频的背景。
  • 高级相机和视角模式: 通过不同的方向模式,精细控制相机如何解读你的参考素材。
  • 30 秒一镜到底支持: 单次生成可产出长达 30 秒的连续动作,实现叙事场景中不间断的角色运动。

角色朝向模式

character_orientation 参数决定模型如何解读空间信息并限制输出时长:
模式描述最长时长
video输出角色朝向与参考视频一致。最适合复杂的全身表演,如舞蹈序列和精心编排的动作。30 秒
image输出角色朝向与参考图像一致。最适合带有相机运动的肖像动画,如平移、倾斜和跟踪镜头。10 秒

模型级别

级别分辨率适用场景
Standard(标准)720p简单动画、社交媒体内容、表情包和快速测试。速度更快,成本更低。
Pro(专业)1080p复杂编舞、精细手部动作、专业营销素材和广播级内容。
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

Kling 2.6 Motion Control 工作流

下载 Json 格式工作流文件

输入要求

  • 图像格式: JPG、PNG、WEBP、GIF、AVIF(最大 10MB)
  • 视频格式: MP4、MOV、WEBM、M4V、GIF(最大 100MB)
  • 视频时长: 3-30 秒,取决于朝向模式
  • 最低分辨率: 宽度和高度至少 720px
  • 主体可见性: 角色必须清晰展示头部、肩膀和躯干

获得更好效果的技巧

  • 匹配宽高比: 确保角色图像和参考视频具有相似的宽高比(例如都是 16:9 或都是 9:16),以防止出现拉伸或裁剪问题。
  • 干净的背景: 使用背景简单或静态的参考视频,以获得最佳的动作提取效果。演员轮廓清晰的高对比度视频效果最好。
  • 清晰的角色角度: 如果参考视频包含旋转动作,使用 3D 风格角色或真实照片会有更好的效果。平面 2D 卡通可能难以处理背面视角。
  • 可见的四肢: 确保源图像中角色的四肢可见。如果角色的手在口袋里但动作需要挥手,AI 会凭空生成手部,通常会导致伪影。
  • 留出呼吸空间: 在主体周围留出负空间。如果角色要跳舞或大幅度挥动手臂,需要在画面内留出足够空间以避免裁切。
  • 构图对齐: 匹配图像和参考视频之间的构图。面部动画使用特写参考,行走/跳舞序列使用全身参考。