Modelos LoRA en ComfyUI: instalar, cargar y aplicar estilos

LoRA (Low-Rank Adaptation) es una técnica eficiente para el ajuste fino de modelos generativos grandes como Stable Diffusion. Introduce matrices entrenables de bajo rango en el modelo preentrenado, ajustando solo una parte de los parámetros en lugar de reentrenar el modelo completo, logrando así la optimización para tareas específicas con un menor costo computacional. En comparación con los modelos base como SD1.5, los modelos LoRA son más pequeños y más fáciles de entrenar. La imagen anterior compara la generación con los mismos parámetros usando dreamshaper_8 directamente frente a usar el modelo LoRA blindbox_V1Mix. Como puedes ver, al usar un modelo LoRA podemos generar imágenes en diferentes estilos sin ajustar el modelo base. Vamos a mostrar cómo usar un modelo LoRA. Todas las variantes de LoRA: Lycoris, loha, lokr, locon, etc… se usan de la misma manera. En este ejemplo, aprenderás a cargar y usar un modelo LoRA en ComfyUI, y cubriremos los siguientes temas:

1. Instalar un modelo LoRA
2. Generar imágenes usando un modelo LoRA
3. Una introducción sencilla al nodo Load LoRA

​

Instalación de los modelos requeridos

Descarga el archivo dreamshaper_8.safetensors y colócalo en tu carpeta ComfyUI/models/checkpoints. Descarga el archivo blindbox_V1Mix.safetensors y colócalo en tu carpeta ComfyUI/models/loras.

​

Archivo de flujo de trabajo de LoRA

Descarga la imagen a continuación y arrástrala a ComfyUI para cargar el flujo de trabajo.

​

Completar el flujo de trabajo paso a paso

Sigue los pasos del diagrama siguiente para asegurarte de que el flujo de trabajo se ejecute correctamente.

1. Asegúrate de que Load Checkpoint cargue dreamshaper_8.safetensors
2. Asegúrate de que Load LoRA cargue blindbox_V1Mix.safetensors
3. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para generar la imagen

​

Introducción al nodo Load LoRA

ComfyUI detecta los modelos de la carpeta ComfyUI\models\loras y puedes cargarlos con este nodo.

​

Tipos de entrada

​

Tipos de salida

Este nodo admite conexiones en cadena, lo que permite conectar varios nodos Load LoRA en serie para aplicar varios modelos LoRA. Para más detalles, consulta Ejemplo de múltiples LoRAs en ComfyUI

​

Probar por tu cuenta

1. Intenta modificar el prompt o ajustar distintos parámetros del nodo Load LoRA, como strength_model, para observar los cambios en las imágenes generadas y familiarizarte con el nodo Load LoRA.
2. Visita CivitAI para descargar otros tipos de modelos LoRA y probar a usarlos.