本篇将引导了解 AI 绘图中,文生图的概念,并在 ComfyUI 中完成文生图工作流生成
ComfyUI/models/checkpoints
文件夹至少有一个 SD1.5 的模型文件,如果你还不了解如何安装模型,请参开始 ComfyUI 的 AI 绘图之旅章节中关于模型安装的部分说明。
你可以使用下面的这些模型:
Queue
按钮,或者使用快捷键 Ctrl + Enter(回车)
来执行图片生成seed
参数会使用不同的随机种子,所以每次生成的结果都会有所不同Positive
为正向提示词,连接到 KSampler 节点的Negative
为负向提示词
下面是针对 SD1.5 模型的一些简单提示词原则
,
隔开(golden hour:1.2)
这样的表达来提升特定关键词的权重,这样它在画面中出现的概率会更高,1.2
为权重,golden hour
为关键词masterpiece, best quality, 4k
等关键词来提升生成质量checkpoint
中会包含 MODEL(UNet)
、CLIP
和 VAE
三个组件
MODEL(UNet)
:为对应模型的 UNet 模型, 负责扩散过程中的噪声预测和图像生成,驱动扩散过程CLIP
:这个是文本编码器,因为模型并不能直接理解我们的文本提示词(prompt),所以需要将我们的文本提示词(prompt)编码为向量,转换为模型可以理解的语义向量VAE
:这个是变分自编码器,我们的扩散模型处理的是潜在空间,而我们的图片是像素空间,所以需要将图片转换为潜在空间,然后进行扩散,最后将潜在空间转换为图片Positive
条件输入的为正向提示词(希望在画面中出现的元素)Negative
条件输入的为负向提示词(不希望在画面中出现的元素)Load Checkpoint
节点的 CLIP
组件编码为语义向量,然后作为条件输出到 KSampler 节点
参数名称 | 描述 | 作用 |
---|---|---|
model | 去噪使用的扩散模型 | 决定生成图像的风格与质量 |
positive | 正向提示词条件编码 | 引导生成包含指定元素的内容 |
negative | 负向提示词条件编码 | 抑制生成不期望的内容 |
latent_image | 待去噪的潜在空间图像 | 作为噪声初始化的输入载体 |
seed | 噪声生成的随机种子 | 控制生成结果的随机性 |
control_after_generate | 种子生成后控制模式 | 决定多批次生成时种子的变化规律 |
steps | 去噪迭代步数 | 步数越多细节越精细但耗时增加 |
cfg | 分类器自由引导系数 | 控制提示词约束强度(过高导致过拟合) |
sampler_name | 采样算法名称 | 决定去噪路径的数学方法 |
scheduler | 调度器类型 | 控制噪声衰减速率与步长分配 |
denoise | 降噪强度系数 | 控制添加到潜在空间的噪声强度,0.0保留原始输入特征,1.0为完全的噪声 |
seed
作为初始化参数构建随机的噪声,语义向量 Positive
和 Negative
会作为条件输入到扩散模型中
然后根据 steps
参数指定的去噪步数,进行去噪,每次去噪会根据 denoise
参数指定的降噪强度系数,对潜在空间进行降噪,并生成新的潜在空间图像
ComfyUI/output
文件夹下