Wan2.2-Fun-Inp 是 Alibaba pai团队推出的首尾帧控制视频生成模型,支持输入首帧和尾帧图像,生成中间过渡视频,为创作者带来更强的创意控制力。该模型采用 Apache 2.0 许可协议发布,支持商业使用。 核心功能
  • 首尾帧控制:支持输入首帧和尾帧图像,生成中间过渡视频,提升视频连贯性与创意自由度
  • 高质量视频生成:基于 Wan2.2 架构,输出影视级质量视频
  • 多分辨率支持:支持生成512×512、768×768、1024×1024等分辨率的视频,适配不同场景需求
模型版本
  • 14B 高性能版:模型体积达 32GB+,效果更优但需高显存支持
下面是相关模型权重和代码仓库:
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

Wan2.2 Fun Inp 首尾帧视频生成工作流示例

这里提供的工作流包含了两个版本的
  1. 使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA 来实现视频生成提速的版本
  2. 没有使用加速 LoRA 的 fp8_scaled 版本
下面是使用 RTX4090D 24GB 显存 GPU 测试的结果
模型类型分辨率显存占用首次生成时长第二次生成时长
fp8_scaled640×64083%≈ 524秒≈ 520秒
fp8_scaled + 4步LoRA加速640×64089%≈ 138秒≈ 79秒
由于使用了加速 LoRA 后提速较为明显,在提供的两组工作流中,我们默认启用了使用了加速 LoRA 版本,如果你需要启用另一组的工作流,框选后使用 Ctrl+B 即可启用

1. 工作流文件下载

请更新你的 ComfyUI 到最新版本,并通过菜单 工作流 -> 浏览模板 -> 视频 找到 “Wan2.2 Fun Inp” 以加载工作流 或者更新你的 ComfyUI 到最新版本后,下载下面的工作流并拖入 ComfyUI 以加载工作流

下载 JSON 格式工作流

使用下面的素材作为首尾帧 Wan2.2 Fun Control ComfyUI 工作流起始帧素材 Wan2.2 Fun Control ComfyUI 工作流起始帧素材

2. 手动下载模型

Diffusion Model Lightning LoRA (可选,用于加速) VAE Text Encoder
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

步骤图
这个工作流是使用了 LoRA 的工作流,请确保对应的 Diffusion model 和 LoRA 是一致的
  1. High noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  1. Low noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  1. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  2. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors 模型
  3. 首尾帧图片上传,分别上传首尾帧图片素材
  4. 在 Prompt 组中输入提示词
  5. WanFunInpaintToVideo 节点尺寸和视频长度调整
    • 调整 widthheight 的尺寸,默认为 640, 我们设置了较小的尺寸你可以按需进行修改
    • 调整 length, 这里为视频总帧数,当前工作流 fps 为 16, 假设你需要生成一个 5 秒的视频,那么你应该设置 5*16 = 80
  6. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成