Skip to main content
Esta guía tiene como objetivo presentarte el flujo de trabajo de texto a imagen de ComfyUI y ayudarte a comprender la funcionalidad y el uso de los distintos nodos de ComfyUI. En este documento, vamos a:
  • Completar un flujo de trabajo de texto a imagen
  • Obtener una comprensión básica de los principios de los modelos de difusión
  • Conocer las funciones y los roles de los nodos del flujo de trabajo
  • Obtener una comprensión inicial del modelo SD1.5
Comenzaremos ejecutando un flujo de trabajo de texto a imagen y, a continuación, explicaremos los conceptos relacionados. Elige las secciones relevantes según tus necesidades.

​
¿Qué es texto a imagen en ComfyUI?

Texto a imagen es un proceso fundamental en la generación de arte con IA que crea imágenes a partir de descripciones de texto, con los modelos de difusión como núcleo. El proceso de texto a imagen requiere los siguientes elementos:
  • Artista: el modelo de generación de imágenes
  • Lienzo: el espacio latente
  • Requisitos de la imagen (prompts): incluye los prompts positivos (elementos que quieres en la imagen) y los prompts negativos (elementos que no quieres)
Puedes entender este proceso de generación de texto a imagen simplemente como decirle tus requisitos (prompts positivos y negativos) a un artista (el modelo de imagen), que luego crea lo que quieres a partir de esos requisitos.

​
Guía de ejemplo del flujo de trabajo Texto a imagen de ComfyUI

​
1. Preparación

Asegúrate de tener al menos un archivo de modelo SD1.5 en tu carpeta ComfyUI/models/checkpoints, como v1-5-pruned-emaonly-fp16.safetensors Si todavía no lo has instalado, consulta la sección de instalación de modelos en Primeros pasos con la generación de arte con IA de ComfyUI.

​
2. Cargar el flujo de trabajo de texto a imagen

Descarga la imagen de abajo y arrástrala a ComfyUI para cargar el flujo de trabajo: Flujo de trabajo de texto a imagen de ComfyUI
Las imágenes que llevan el JSON del flujo de trabajo en sus metadatos se pueden arrastrar directamente a ComfyUI o cargar con el menú Workflows -> Open (ctrl+o).

​
3. Cargar el modelo y generar tu primera imagen

Después de instalar el modelo de imagen, sigue los pasos de la imagen de abajo para cargar el modelo y generar tu primera imagen Generación de imágenes Sigue estos pasos según los números de la imagen:
  1. En el nodo Load Checkpoint, usa las flechas o haz clic en el área de texto para asegurarte de que v1-5-pruned-emaonly-fp16.safetensors está seleccionado y de que las flechas izquierda/derecha no muestran el texto null
  2. Haz clic en el botón Queue o usa el atajo Ctrl + Enter para ejecutar la generación de imágenes
Cuando termine el proceso, deberías ver la imagen resultante en la interfaz del nodo Save Image, donde puedes hacer clic derecho para guardarla localmente Resultado de la primera generación de imágenes con ComfyUI
Si no estás satisfecho con el resultado, prueba a ejecutar la generación varias veces. Cada vez que la ejecutes, KSampler usará una semilla aleatoria distinta según el parámetro seed, así que cada generación producirá resultados diferentes

​
4. Empieza a experimentar

Prueba a modificar el texto del CLIP Text Encoder CLIP Text Encoder La conexión Positive con el nodo KSampler representa los prompts positivos, mientras que la conexión Negative representa los prompts negativos Estos son algunos principios básicos para escribir prompts con el modelo SD1.5:
  • Usa inglés siempre que sea posible
  • Separa los prompts con comas en inglés ,
  • Usa frases en lugar de oraciones largas
  • Usa descripciones específicas
  • Usa expresiones como (golden hour:1.2) para aumentar el peso de una palabra clave concreta y hacer que aparezca más fácilmente en la imagen. 1.2 es el peso y golden hour es la palabra clave
  • Usa palabras clave como masterpiece, best quality, 4k para mejorar la calidad de la generación
Aquí tienes varios ejemplos de prompts que puedes probar, o usa tus propios prompts para generar: 1. Estilo anime Prompts positivos:
Prompts negativos:
2. Estilo realista Prompts positivos:
Prompts negativos:
3. Estilo de un artista concreto Prompts positivos:
Prompts negativos:

​
¿Cómo funciona el texto a imagen?

Todo el proceso de texto a imagen puede entenderse como un proceso de difusión inversa. El v1-5-pruned-emaonly-fp16.safetensors que descargamos es un modelo preentrenado que puede generar imágenes objetivo a partir de ruido gaussiano puro. Solo hace falta introducir nuestros prompts y puede generar imágenes objetivo mediante la eliminación de ruido aleatorio. Necesitamos entender dos conceptos:
  1. Espacio latente: el espacio latente es un método abstracto de representación de datos en los modelos de difusión. Convertir las imágenes del espacio de píxeles al espacio latente reduce el espacio de almacenamiento, facilita el entrenamiento de los modelos de difusión y reduce la complejidad de la eliminación de ruido. Es como los arquitectos que usan planos (espacio latente) para diseñar en lugar de diseñar directamente sobre el edificio (espacio de píxeles): mantienen las características estructurales y a la vez reducen de forma significativa los costos de modificación.
  2. Espacio de píxeles: el espacio de píxeles es el espacio de almacenamiento de las imágenes, es decir, la imagen final que vemos, y se usa para almacenar los valores de píxeles.
Si quieres aprender más sobre los modelos de difusión, puedes leer estos artículos:

​
Explicación de los nodos del flujo de trabajo Texto a imagen de ComfyUI

Explicación del flujo de trabajo Texto a imagen de ComfyUI

​
A. Nodo Load Checkpoint

Load Checkpoint Este nodo se usa normalmente para cargar el modelo de generación de imágenes. Un checkpoint suele contener tres componentes: MODEL (UNet), CLIP y VAE
  • MODEL (UNet): el modelo UNet encargado de predecir el ruido y generar la imagen durante el proceso de difusión
  • CLIP: el codificador de texto que convierte tus prompts en vectores que el modelo puede entender, ya que el modelo no comprende directamente los prompts de texto
  • VAE: el AutoEncoder Variacional que convierte las imágenes entre el espacio de píxeles y el espacio latente, ya que los modelos de difusión trabajan en el espacio latente mientras que las imágenes están en el espacio de píxeles

​
B. Nodo Empty Latent Image

Empty Latent Image Define un espacio latente que se envía al nodo KSampler. El nodo Empty Latent Image construye una imagen latente de ruido puro Puedes pensar en su función como la de definir el tamaño del lienzo, que determina las dimensiones de la imagen final generada

​
C. Nodo CLIP Text Encoder

CLIP Text Encoder Sirve para codificar los prompts, es decir, tus requisitos para la imagen
  • La entrada de acondicionamiento Positive conectada al nodo KSampler representa los prompts positivos (los elementos que quieres en la imagen)
  • La entrada de acondicionamiento Negative conectada al nodo KSampler representa los prompts negativos (los elementos que no quieres en la imagen)
El componente CLIP del nodo Load Checkpoint codifica los prompts en vectores semánticos y los envía como acondicionamientos al nodo KSampler

​
D. Nodo KSampler

KSampler El KSampler es el núcleo de todo el flujo de trabajo: en él ocurre todo el proceso de eliminación de ruido y, al final, entrega una imagen en el espacio latente Aquí tienes una explicación de los parámetros del nodo KSampler: En el nodo KSampler, el espacio latente usa seed como parámetro de inicialización para construir el ruido aleatorio, y los vectores semánticos Positive y Negative se envían como acondicionamientos al modelo de difusión Después, según el número de pasos de eliminación de ruido indicado por el parámetro steps, se ejecuta la eliminación de ruido. Cada paso usa el coeficiente de fuerza de eliminación de ruido indicado por el parámetro denoise para quitar ruido al espacio latente y generar una nueva imagen en el espacio latente

​
E. Nodo VAE Decode

VAE Decode Convierte la imagen en espacio latente que entrega el KSampler en una imagen en el espacio de píxeles

​
F. Nodo Save Image

Save Image Previsualiza y guarda en la carpeta local ComfyUI/output la imagen decodificada desde el espacio latente

​
Introducción al modelo SD1.5

SD1.5 (Stable Diffusion 1.5) es un modelo de generación de imágenes con IA desarrollado por Stability AI. Es la versión fundacional de la serie Stable Diffusion, entrenada con imágenes de resolución 512×512, lo que la hace especialmente buena generando imágenes a esa resolución. Con un tamaño de unos 4 GB, funciona sin problemas en GPUs de consumo (por ejemplo, 6 GB de VRAM). Actualmente, SD1.5 cuenta con un ecosistema muy rico, con soporte para diversos plugins (como ControlNet, LoRA) y herramientas de optimización. Como modelo emblemático en la generación de arte con IA, SD1.5 sigue siendo la mejor opción para empezar gracias a su naturaleza de código abierto, su arquitectura ligera y su rico ecosistema. Aunque se han publicado versiones más recientes como SDXL/SD3, su valor para hardware de consumo sigue siendo inigualable.

​
Información básica

  • Fecha de lanzamiento: octubre de 2022
  • Arquitectura principal: basada en Latent Diffusion Model (LDM)
  • Datos de entrenamiento: conjunto de datos LAION-Aesthetics v2.5 (aproximadamente 590M pasos de entrenamiento)
  • Características de código abierto: modelo, código y datos de entrenamiento totalmente abiertos

​
Ventajas y limitaciones

Ventajas del modelo:
  • Ligero: tamaño pequeño, solo unos 4 GB, funciona sin problemas en GPUs de consumo
  • Barrera de entrada baja: admite una amplia gama de plugins y herramientas de optimización
  • Ecosistema maduro: amplio soporte de plugins y herramientas
  • Generación rápida: funcionamiento fluido en GPUs de consumo
Limitaciones del modelo:
  • Manejo de detalles: las manos y la iluminación compleja tienden a distorsionarse
  • Límites de resolución: la calidad se degrada al generar directamente a 1024x1024
  • Dependencia del prompt: requiere descripciones precisas en inglés para mantener el control