本篇将引导了解基础的 ControlNet 概念,并在 ComfyUI 中完成对应的图像生成
图源:ComfyUI ControlNet aux由于目前 Comfy Core 节点中,不包含所有类型的 预处理器 类型,但在本文档的实际示例中,我们都将提供已经经过处理后的图片, 但在实际使用过程中,你可能需要借助一些自定义节点来对图片进行预处理,以满足不同 ControlNet 模型的需求,下面是一些相关的插件
Workflows
-> Open(ctrl+o)
来加载对应的工作流。
该图片已包含对应模型的下载链接,直接拖入 ComfyUI 将会自动提示下载。Load Checkpoint
可以加载 dreamCreationVirtual3DECommerce_v10.safetensorsLoad VAE
可以加载 vae-ft-mse-840000-ema-pruned.safetensorsLoad Image
中点击Upload
上传之前提供的输入图片Load ControlNet
可以加载 control_v11p_sd15_scribble_fp16.safetensorsQueue
按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车)
来执行图片的生成ComfyUI\models\controlnet
的模型会被 ComfyUI 检测到,并在这个节点中识别并加载
load controlnet
加载的 ControlNet 模型,并根据输入的图片,生成对应的控制条件。
输入类型
参数名称 | 作用 |
---|---|
positive | 正向条件 |
negative | 负向条件 |
control_net | 要应用的controlNet模型 |
image | 用于 controlNet 应用参考的预处理器处理图片 |
vae | Vae模型输入 |
strength | 应用 ControlNet 的强度,越大则 ControlNet 对生成图像的影响越大 |
start_percent | 确定开始应用controlNet的百分比,比如取值0.2,意味着ControlNet的引导将在扩散过程完成20%时开始影响图像生成 |
end_percent | 确定结束应用controlNet的百分比,比如取值0.8,意味着ControlNet的引导将在扩散过程完成80%时停止影响图像生成 |
参数名称 | 作用 |
---|---|
positive | 应用了 ControlNet 处理后的正向条件数据 |
negative | 应用了 ControlNet 处理后的负向条件数据 |
Apply ControlNet(Old)
节点,这个节点是早期 ControlNet 的节点,目前已弃用状态,默认在搜索和节点列表不可见
Show deprecated nodes in search
选项,推荐使用新节点Control Strength
参数,来控制 ControlNet 模型对生成图像的影响