模型亮点
- 直接运动迁移:无需姿态提取或骨骼预处理,即可根据驱动视频让静态角色动起来
- 身份保持:完整保留参考角色的身份、外观和细节
- 文本驱动的相机控制:将输出相机透视与驱动视频解耦
- 全新背景:根据你的文本提示生成全新背景,而非复制驱动视频中的背景
- 高保真运动:精准复刻驱动视频中的复杂运动和表情
Wan Animate 2 工作流
使用驱动视频让静态角色动起来,直接将视频帧中的动作迁移过来。输出会保留参考角色的身份特征,同时根据你的文本提示生成全新的背景和相机运动。在 Comfy Cloud 上运行
在 Comfy Cloud 中打开
下载工作流
下载 JSON,或在模板库中搜索“Wan Animate 2”
参考图像
LoadImage 节点:pink_hair_mech_arms_ref.png(要制作动画的角色)驱动视频
LoadVideo 节点:street_dance_drive.mp4(动作来源)模型下载
此工作流使用wan_animate_2_int8_convrot.safetensors diffusion 模型。仓库中还提供了 BF16 和蒸馏变体;如果你想使用这些变体,请在 UNETLoader 节点中更改模型选择。所有文件均可在 Comfy-Org/Wan-Animate-2 仓库中找到:
Diffusion 模型(INT8,必填)
wan_animate_2_int8_convrot.safetensors:本工作流使用的 INT8 convrot 量化 diffusion 模型
Diffusion 模型(BF16,可选)
wan_animate_2_bf16.safetensors:全精度基础模型。需要更改 UNETLoader 模型选择。
Diffusion 模型(蒸馏 INT8,可选)
wan_animate_2_distill_int8_convrot.safetensors:蒸馏 INT8 变体。需要更改 UNETLoader 模型选择。
Diffusion 模型(蒸馏 BF16,可选)
wan_animate_2_distill_bf16.safetensors:蒸馏 BF16 变体。需要更改 UNETLoader 模型选择。
LoRA
lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors:LightX2V 加速 LoRA
文本编码器
umt5_xxl_fp8_e4m3fn_scaled.safetensors:UMT5-XXL FP8 文本编码器
CLIP 视觉
clip_vision_h.safetensors:CLIP 视觉编码器
VAE
Wan2_1_VAE_bf16.safetensors:用于编码和解码的 Wan2.1 VAE
工作流说明
- 确保所有模型都正确加载。
- 上传参考图像:该图像中的角色就是要制作动画的目标角色。
- 上传驱动视频:其动作会被转移到参考角色上。
- 更新提示词,描述你想要的场景、背景和相机运动。
- 点击
Run,或使用快捷键Ctrl(cmd) + Enter生成视频。