ComfyUI Wan2.1 Fun Control 视频示例

​

关于 Wan2.1-Fun-Control

• 1.3B 轻量版：适合本地部署和快速推理，对显存要求较低
• 14B 高性能版：模型体积达 32GB+，效果更优，但 需要更高的显存

1. 仅使用原生 Comfy Core 节点的工作流
2. 使用自定义节点的工作流

​

相关模型安装

• wan2.1_fun_control_1.3B_bf16.safetensors
• Wan2.1-Fun-14B-Control： 建议下载后重命名为 Wan2.1-Fun-14B-Control.safetensors

• umt5_xxl_fp16.safetensors
• umt5_xxl_fp8_e4m3fn_scaled.safetensors

• wan_2.1_vae.safetensors

• clip_vision_h.safetensors

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── wan2.1_fun_control_1.3B_bf16.safetensors
│   ├── 📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └── 📂 vae/
│   │   └── wan_2.1_vae.safetensors
│   └── 📂 clip_vision/
│       └──  clip_vision_h.safetensors                 

​

ComfyUI 原生工作流

​

1. 工作流文件下载

​

2. 按步骤完成工作流

1. 确保 Load Diffusion Model 节点已加载 wan2.1_fun_control_1.3B_bf16.safetensors
2. 确保 Load CLIP 节点已加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors
3. 确保 Load VAE 节点已加载 wan_2.1_vae.safetensors
4. 确保 Load CLIP Vision 节点已加载 clip_vision_h.safetensors
5. 将起始帧上传到 Load Image 节点（已重命名为 Start_image）
6. 将控制视频上传到第二个 Load Image 节点。注意：此节点目前不支持 mp4，仅支持 WebP 视频
7. （可选）修改提示词（支持英文和中文）
8. （可选）在 WanFunControlToVideo 中调整视频尺寸，避免使用过大的尺寸
9. 点击 Run 按钮，或使用快捷键 Ctrl(cmd) + Enter 来执行视频生成

​

3. 使用说明

• 由于我们需要将与控制视频相同的帧数输入到 WanFunControlToVideo 节点，如果指定的帧数超过实际的控制视频帧数，多余的帧可能会显示不符合控制条件的画面。我们将在使用自定义节点的工作流中解决此问题
• 避免设置过大的尺寸，因为这会使采样过程非常耗时。建议先生成较小的图像，然后再进行 upscale
• 发挥你的想象力，在此工作流的基础上进行扩展，通过添加文生图或其他类型的工作流，实现直接的文生视频生成或风格迁移
• 使用类似 ComfyUI-comfyui_controlnet_aux 的工具来实现更丰富的控制选项

​

使用自定义节点的工作流

• ComfyUI-VideoHelperSuite
• ComfyUI-comfyui_controlnet_aux

​

1. 工作流文件下载

​

2. 按步骤完成工作流

模型部分基本是一致的。如果你已经体验过仅使用原生节点的工作流，可以直接上传对应的图像并运行。

1. 确保 Load Diffusion Model 节点已加载 wan2.1_fun_control_1.3B_bf16.safetensors
2. 确保 Load CLIP 节点已加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors
3. 确保 Load VAE 节点已加载 wan_2.1_vae.safetensors
4. 确保 Load CLIP Vision 节点已加载 clip_vision_h.safetensors
5. 将起始帧上传到 Load Image 节点
6. 将 mp4 格式的视频上传到 Load Video(Upload) 自定义节点。请注意，工作流已调整默认的 frame_load_cap
7. 对于当前图像，DWPose Estimator 仅使用 detect_face 选项
8. （可选）修改 Prompt（中英文均支持）
9. （可选）在 WanFunControlToVideo 中调整视频尺寸，避免使用过大的尺寸
10. 点击 Run 按钮，或使用快捷键 Ctrl(cmd) + Enter 来执行视频生成

​

3. 工作流说明

• 此示例使用 Load Video(Upload) 来支持 mp4 视频
• 从 Load Video(Upload) 获取的 video_info 使我们能够为输出视频保持相同的 fps
• 你可以将 DWPose Estimator 替换为 ComfyUI-comfyui_controlnet_aux 节点包中的其他预处理器
• Prompt 支持多种语言

​

使用技巧

• 一个有用的技巧是，你可以组合多种图像预处理技术，然后使用 Image Blend 节点来实现同时应用多种控制方法的目的。
• 你可以使用 ComfyUI-VideoHelperSuite 中的 Video Combine 节点将视频保存为 mp4 格式。
• 我们使用 SaveAnimatedWEBP，因为我们目前不支持将工作流嵌入 mp4，而且一些其他自定义节点可能也不支持嵌入工作流。为了在视频中保留工作流，我们选择 SaveAnimatedWEBP 节点。
• 在 WanFunControlToVideo 节点中，control_video 不是必需的，所以有时你可以不使用控制视频，先生成非常小尺寸的视频（比如 320x320），然后再将它们作为控制视频输入，以获得一致的结果。
• ComfyUI-WanVideoWrapper
• ComfyUI-KJNodes