跳转到主要内容
SCAIL-2 是构建在 Wan2.1 之上的端到端角色动画模型。它通过驱动视频驱动参考角色图像,支持角色动画(让角色执行动作)和视频内角色替换(将视频中跟踪的人物替换为参考角色)。 主要特性
  • 端到端角色动画:用驱动视频的运动驱动静态角色图像
  • 两种模式:动画模式(角色执行动作)和替换模式(将跟踪人物替换为参考角色)
  • 长视频支持:基于分段的重叠帧扩展生成
  • 内置 ComfyUI 节点:使用原生 WanSCAILToVideoSCAIL2ColoredMaskSAM3 跟踪,无需额外自定义节点,仅需下载标准模型即可
相关链接

SCAIL-2 角色替换工作流

在 Comfy Cloud 中运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON 或在模板库中搜索 “SCAIL-2”
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

工作流原理

本工作流使用两个子图节点——Base 子图(第一段)和 Extend 子图(后续段落)——来支持短视频和长视频的角色动画。
  1. 加载驱动视频(pose_video)和参考角色图像
  2. Base 子图处理第一段(默认 81 帧)
  3. Extend 子图处理第 2 段及后续,将上一段的 previous_frames 链接起来
  4. 预览结果并保存

了解 Subgraph 子图

本工作流使用 Subgraph 节点进行模块化处理。查看子图文档了解如何自定义和扩展工作流。

长视频

对于较长的视频,计算段落数量:ceil(total_frames / 76)。除第一段外均使用 Extend 子图。复制 Extend 节点以增加更多段落,链接 previous_frames 输出,并递增 segment_index
注意: WanSCAILToVideo 无法自动排队所有段落——需要手动运行每个段落。

两种模式

模式replace_mode驱动视频蒙版背景说明
替换模式true(默认)白色将驱动视频中跟踪的人物替换为参考角色
动画模式false黑色参考角色执行驱动视频的动作
在两个子图节点上均设置 replace_mode 参数。

输入和参数

共用参数(Base 和 Extend)

参数说明
pose_video要传递动作的驱动视频
reference_image要动画化或插入的角色图像
prompt输出视频描述
replace_modetrue = 替换模式,false = 动画模式
segment_index1 为第一段,2+ 为延续。姿态偏移 = 76 × (索引 − 1)
width / height输出分辨率,例如 896×512。必须能被 16 整除
frame_count每段帧数(默认:81)
previous_frame_count段落间的重叠帧数(默认:5)
pose_strength / pose_start / pose_end姿态条件的强度和时间范围

SAM3 跟踪(两个输入)

sam3_video_objectsam3_image_object 输入控制 SAM3 蒙版跟踪——不是 SCAIL-2 的输出提示词。它们确定彩色蒙版跟踪哪些对象:
输入目标输出
sam3_video_object驱动视频pose_video_mask
sam3_image_object参考图像reference_image_mask
  • 使用开放式文本描述(默认:human
  • 当视频和参考中的目标相同时使用相同的描述
  • 如果视频和参考需要不同的关注点(例如拥挤场景),使用不同的描述

模型安装

首先将 ComfyUI 更新到最新版本,以获取内置的 WanSCAILToVideo 和 SCAIL2ColoredMask 节点。

所需模型

diffusion_models text_encoders(选择其一) clip_vision vae loras checkpoints

文件存放位置

ComfyUI/
├── models/
│   ├── diffusion_models/
│   │   └── wan2.1_14B_SCAIL_2_fp16.safetensors
│   ├── text_encoders/
│   │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── clip_vision/
│   │   └── clip_vision_h.safetensors
│   ├── vae/
│   │   └── Wan2_1_VAE_bf16.safetensors
│   ├── loras/
│   │   ├── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
│   │   └── wan2.1_SCAIL_2_DPO_lora_bf16.safetensors
│   └── checkpoints/
│       └── sam3.1_multiplex_fp16.safetensors