Skip to main content
Wan2.2-Fun-Inp 是 Alibaba PAI 团队推出的首尾帧控制视频生成模型,支持输入首帧和尾帧图像,生成中间过渡视频,为创作者带来更强的创意控制力。该模型采用 Apache 2.0 许可协议发布,支持商业使用。 核心功能
  • 首尾帧控制:支持输入首帧和尾帧图像,生成中间过渡视频,提升视频连贯性与创意自由度
  • 高质量视频生成:基于 Wan2.2 架构,输出影视级质量视频
  • 多分辨率支持:支持生成512×512、768×768、1024×1024等分辨率的视频,适配不同场景需求
模型版本
  • 14B 高性能版:模型体积超过 32GB,效果更优但需高显存支持
下面是相关模型权重和代码仓库:

ComfyOrg Wan2.2 Fun InP & Control Youtube 直播回放

Wan2.2 Fun Inp 起始帧与结束帧视频生成工作流示例

请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。
本工作流提供两个版本:
  1. 一个使用 lightx2v 的 Wan2.2-Lightning 4 步 LoRA 的版本,用于加速视频生成
  2. 一个不含加速 LoRA 的 fp8_scaled 版本
以下是在 RTX4090D 24GB 显存 GPU 上,以 640x640 分辨率、81 帧进行测试的结果 由于 LoRA 加速效果显著,但会丢失视频的动态效果,所提供的工作流默认启用加速 LoRA 版本。如果你想启用另一个工作流,请选择它并使用 Ctrl+B 进行激活。

1. 下载工作流文件

请将 ComfyUI 更新到最新版本,然后在菜单 工作流 -> 浏览模板 -> 视频 下找到“Wan2.2 Fun Inp”以加载该工作流。 或者,在将 ComfyUI 更新到最新版本之后,下载下方的工作流并将其拖入 ComfyUI 即可加载。 Wan2.2 Fun Inp 工作流

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON,或在模板库中搜索“Wan2.2 Fun Inp”
使用以下素材作为起始帧和结束帧 输入素材

video_wan2_2_14B_fun_inpaint_start_image.png

视频生成的起始帧。下载并使用此图像,或替换为你自己的图像。

video_wan2_2_14B_fun_inpaint_end_image.png

视频生成的结束帧。下载并使用此图像,或替换为你自己的图像。

2. 模型

本指南涉及的全部模型可在此处找到。 Diffusion 模型

高噪波 14B FP8 缩放版

wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors:用于开始帧-结束帧 inpainting 的高噪波 diffusion 模型

低噪波 14B FP8 缩放版

wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors:用于开始帧-结束帧 inpainting 的低噪波 diffusion 模型
Lightning LoRA(可选,用于加速)

Lightning 4 步高噪波 LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors:用于高噪波模型的 4 步加速 LoRA

Lightning 4 步低噪波 LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors:用于低噪波模型的 4 步加速 LoRA
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors:用于编码和解码的 Wan2.1 VAE
文本编码器

UMT5 XXL FP8 缩放版

umt5_xxl_fp8_e4m3fn_scaled.safetensors:缩放版 FP8 文本编码器

3. 工作流指南

工作流步骤图
此工作流使用 LoRA。请确保对应的 Diffusion 模型和 LoRA 相匹配。
  1. 高噪波模型与 LoRA 加载
    • 确保 Load Diffusion Model 节点加载 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 模型
    • 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  2. 低噪波模型与 LoRA 加载
    • 确保 Load Diffusion Model 节点加载 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 模型
    • 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  3. 确保 Load CLIP 节点加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  4. 确保 Load VAE 节点加载 wan_2.1_vae.safetensors 模型
  5. 上传开始帧和结束帧图像作为素材
  6. 在 Prompt 组中输入你的提示词
  7. WanFunInpaintToVideo 节点中调整尺寸和视频长度
    • 调整 widthheight 参数。默认值为 640。我们设置了较小的尺寸,但你可以根据需要进行修改。
    • 调整 length,即总帧数。当前工作流的 fps 为 16。例如,如果你想生成一个 5 秒的视频,应将其设置为 5*16 = 80。
  8. 点击 Run 按钮,或使用快捷键 Ctrl(cmd) + Enter 执行视频生成