模型
模型是必不可少的
模型是媒体生成工作流程的基本构建块。它们可以组合和混合以实现不同的创意效果。
模型 这个词有许多不同的含义。在这里，它指的是一个数据文件，携带节点图执行其工作所需的信息。具体来说，它是一个数据结构，模型 某种功能。作为动词，建模某物意味着表示它或提供一个示例。
在ComfyUI中，模型数据文件的主要示例是AI 扩散模型。这是一组大型数据，表示文本字符串和图像之间复杂的关系，使得将单词翻译成图片或反之成为可能。其他用于图像生成的常见模型示例包括语言模型，如CLIP，以及图像放大模型，如RealESRGAN。
模型文件
模型文件对于生成媒体制作是绝对必要的。如果找不到模型文件，工作流程中将无法进行任何操作。模型不包含在ComfyUI安装中，但ComfyUI通常可以自动下载和安装缺失的模型文件。许多模型可以从ComfyUI管理器窗口下载和安装。模型也可以在以下网站找到：huggingface.co、civitai.green和github.com。
在ComfyUI中使用模型
- 下载并将其放置在ComfyUI程序目录中
- 在models文件夹中，您会找到各种类型模型的子文件夹，例如checkpoints
- ComfyUI管理器帮助自动化搜索、下载和安装的过程
- 如果ComfyUI正在运行，请重启它
- 在您的工作流程中，创建适合模型类型的节点，例如Load Checkpoints、Load LoRA、Load VAE
- 在加载节点中，选择您希望使用的模型
- 将加载节点连接到工作流程中的其他节点
文件大小
相对于图像文件，模型文件可能非常大。一个典型的未压缩图像可能需要几兆字节的磁盘存储。生成的AI模型可能大到数万倍，单个模型可达数十吉字节。它们占用大量磁盘空间，并且在网络上传输需要很长时间。
模型训练和优化
生成AI模型是通过在非常大的数据集上训练机器学习程序创建的，例如图像和文本描述的配对。AI模型并不明确存储训练数据，而是存储数据中隐含的相关性。
像Stability AI和Black Forest Labs这样的组织和公司发布“基础”模型，这些模型携带大量通用信息。这些是通用的生成AI模型。通常，基础模型需要进行优化，以获得高质量的生成输出。一个专门的社区致力于优化基础模型。新的优化模型产生更好的输出，提供新的或不同的功能，并/或使用更少的资源。优化后的模型通常可以在计算能力和/或内存较少的系统上运行。
辅助模型
模型功能可以通过辅助模型进行扩展。例如，艺术指导文本到图像的工作流程以实现特定结果，单靠扩散模型可能会很困难或不可能。额外的模型可以在工作流程图中优化扩散模型，以产生所需的结果。示例包括LoRA（低秩适应），一个针对特定主题训练的小模型；ControlNet，一个使用引导图像帮助控制构图的模型；以及Inpainting，一个允许某些扩散模型在现有图像中生成新内容的模型。