Skip to main content
Wan2.2-Fun-Control 是 Alibaba PAI 团队推出的新一代视频生成与控制模型，通过引入创新性的控制代码（Control Codes）机制，结合深度学习和多模态条件输入，能够生成高质量且符合预设控制条件的视频。该模型采用 Apache 2.0 许可协议发布，支持商业使用。 核心功能：
  • 多模态控制：支持多种控制条件，包括 Canny（线稿）、Depth（深度）、OpenPose（人体姿势）、MLSD（几何边缘） 等，同时支持使用 轨迹控制
  • 高质量视频生成：基于 Wan2.2 架构，输出影视级质量视频
  • 多语言支持：支持中英文等多语言提示词输入
下面是相关模型权重和代码仓库：

​
ComfyOrg Wan2.2 Fun InP & Control Youtube 直播回放

对于 ComfyUI Wan2.2 的使用，我们有进行了直播，你可以查看这些回放了解如何使用

​
Wan2.2 趣味控制视频生成工作流示例

请确保你的 ComfyUI 已经更新。本指南里的工作流可以在工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失，可能原因有：
  1. 你用的不是最新版（每夜版）。
  2. 启动时有些节点导入失败。
此工作流提供两个版本：
  1. 使用来自 lightx2v 的 Wan2.2-Lightning 4 步 LoRA 的版本：可能会造成视频动态性的一些损失，但速度更快
  2. 不包含加速 LoRA 的 fp8_scaled 版本
以下是在 RTX4090D 24GB VRAM GPU 上以 640×640 分辨率、81 帧进行测试的结果 由于使用 4 步 LoRA 虽可能会造成视频动态性的一些损失，但能为首次使用工作流的用户提供更好的体验，因此我们默认启用了加速 LoRA 版本。如果您想启用另一个工作流，请选择它并使用 Ctrl+B 来激活。

​
1. 下载工作流和材料

将您的 ComfyUI 更新到最新版本，然后下载工作流文件并将其拖入 ComfyUI，或在模板库中的 Workflow → Browse Templates → Video 下找到”Wan2.2 Fun Control”。 Wan2.2 Fun Control workflow

在 Comfy Cloud 上运行

在 Comfy Cloud 中打开

下载工作流

下载 JSON，或在模板库中搜索”Wan2.2 Fun Control”
请下载以下图像和视频作为输入材料。 输入材料

video_wan2_2_14B_fun_control_start_image.jpg

视频生成所需的起始帧。下载并使用该图像，或替换为您自己的图像。

video_wan2_2_14B_fun_control_start_image_control_video.mp4

预处理后的姿态控制视频。下载并使用该视频，或替换为您自己的视频。
我们在此使用预处理后的视频。

​
2. 模型

本指南涉及的全部模型可在此处找到。 Diffusion 模型

Wan2.2 趣味控制高噪波 14B FP8

wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors：高噪波 Diffusion 模型

Wan2.2 趣味控制低噪波 14B FP8

wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors：低噪波 Diffusion 模型
Wan2.2-Lightning LoRA（可选，用于加速）

高噪波 4 步 LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors：高噪波 4 步加速 LoRA

低噪波 4 步 LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors：低噪波 4 步加速 LoRA
VAE

Wan2.1 VAE

wan_2.1_vae.safetensors：用于编码/解码的 Wan2.1 VAE
文本编码器

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors：缩放版 FP8 文本编码器

​
3. 工作流指南

Wan2.2 趣味控制工作流步骤
本工作流使用 LoRA。请确保相应的 Diffusion 模型和 LoRA 匹配：高噪波和低噪波模型及 LoRA 需要对应使用。
  1. 高噪波模型和 LoRA 加载
    • 确保 UNet加载器 节点加载 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 模型
    • 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  2. 低噪波模型和 LoRA 加载
    • 确保 UNet加载器 节点加载 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 模型
    • 确保 LoraLoaderModelOnly 节点加载 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  3. 确保 加载CLIP 节点加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  4. 确保 加载VAE 节点加载 wan_2.1_vae.safetensors 模型
  5. 在 加载图像 节点中上传起始帧
  6. 在第二个 加载视频 节点中，加载姿态控制视频。提供的视频已经过预处理，可直接使用
  7. 由于我们提供的是预处理后的姿态视频，因此需要禁用相应的视频图像预处理节点。您可以选择该节点并使用 Ctrl + B 将其禁用
  8. 修改提示词：您可以使用中文和英文
  9. 在 Wan22FunControl视频 节点中，修改视频尺寸。默认设置为 640×640 分辨率，以避免低显存用户处理时间过长
  10. 点击 运行 按钮，或使用快捷键 Ctrl(cmd) + Enter 执行视频生成

​
补充说明

由于 ComfyUI 的内置节点仅包含 Canny 预处理器，你可以使用 ComfyUI-comfyui_controlnet_aux 之类的工具来实现其他类型的图像预处理。