LoRA 模型​(Low-Rank Adaptation) 是一种用于微调大型生成模型(如 Stable Diffusion)的高效技术。 它通过在预训练模型的基础上引入可训练的低秩矩阵,仅调整部分参数,而非重新训练整个模型,从而以较低的计算成本实现特定任务的优化,相对于类似 SD1.5 这样的大模型,LoRA 模型更小,更容易训练。

上面的图片对比了同样参数下 dreamshaper_8 直接生成和使用 blindbox_V1Mix LoRA 模型生成的图片对比,我们可以看到通过使用 LoRA 模型,可以在不调整基础模型的情况下,生成更符合我们需求的图片。

我们将演示如何使用 LoRA 的示例。所有 LoRA 变体:Lycoris, loha, lokr, locon, 等… 都是以这种方式使用。

在本示例中,我们将完成以下内容来学习ComfyUI 中加载并使用 LoRA 模型,将涉及以下内容:

  1. 安装 LoRA 模型
  2. 使用 LoRA 模型生成图片
  3. Load LoRA 节点的简单介绍

相关模型安装

请下载 dreamshaper_8.safetensors 并保存至 ComfyUI/models/checkpoints 目录

请下载 blindbox_V1Mix.safetensors 并保存至 ComfyUI/models/loras 目录

LoRA 工作流文件

请下载下面的工作流图片,并拖入 ComfyUI 以加载工作流

Metadata 中包含工作流 json 的图片可直接拖入 ComfyUI 或使用菜单 Workflows -> Open(ctrl+o) 来加载对应的工作流。

按步骤完成工作流的运行

请参照下图步骤,来确保对应的工作流可以正常运行

  1. 确保Load Checkpoint 加载了 dreamshaper_8.safetensors
  2. 确保Load LoRA 加载了 blindbox_V1Mix.safetensors
  3. 点击 Queue 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行图片的生成

Load LoRA 节点介绍

位于ComfyUI\models\loras 的模型会被 ComfyUI 检测到,并在这个节点中加载

输入类型

参数名称作用
model连接基础模型
clip连接 CLIP 模型
lora_name选择要加载使用的 LoRA 模型
strength_model影响 LoRA 对 模型权重(model)的影响程度,数值越大 LoRA 风格越强
strength_clip影响 LoRA 对 CLIP 词嵌入(clip)的影响程度

输出类型

参数名称作用
model输出应用了 LoRA 调整的模型
clip输出应用了 LoRA 调整的 CLIP 模型

该节点支持链式连接,可以将多个Load LoRA 节点串联来应用多个 LoRA 模型,具体请参考ComfyUI 应用多个 LoRA 示例

开始你的尝试

  1. 试着修改提示词,或者调整 Load LoRA 节点的不同参数,比如 strength_model ,来观察生成图片的变化,熟悉对应节点。
  2. 访问 CivitAI 网站,下载其它风格的 LoRA 模型,尝试使用。