Skip to main content

​
Introducción a T2I Adapter

T2I-Adapter es un adaptador ligero desarrollado por Tencent ARC Lab y diseñado para mejorar las capacidades de control estructural, de color y de estilo de los modelos de generación de texto a imagen (como Stable Diffusion). Funciona alineando condiciones externas (como mapas de detección de bordes, mapas de profundidad, bocetos o imágenes de referencia de color) con las características internas del modelo, y así logra un control de alta precisión sin modificar la estructura original del modelo. Con solo unos 77M de parámetros (aproximadamente 300MB de tamaño), su velocidad de inferencia es unas 3 veces mayor que la de ControlNet, y admite la combinación de varias condiciones (como boceto + cuadrícula de color). Los escenarios de aplicación incluyen la conversión de dibujo lineal a imagen, la transferencia de estilo de color, la generación de escenas con múltiples elementos y mucho más.

​
Comparación entre T2I Adapter y ControlNet

Aunque sus funciones son similares, existen diferencias notables en la implementación y en la aplicación:
  1. Diseño ligero: T2I Adapter tiene menos parámetros y un menor consumo de memoria
  2. Velocidad de inferencia: T2I Adapter suele ser unas 3 veces más rápido que ControlNet
  3. Precisión de control: ControlNet ofrece un control más preciso en ciertos escenarios, mientras que T2I Adapter es más adecuado para un control ligero
  4. Combinación de varias condiciones: T2I Adapter muestra ventajas de recursos más significativas al combinar múltiples condiciones

​
Tipos principales de T2I Adapter

T2I Adapter ofrece varios tipos para controlar distintos aspectos:
  • Profundidad: controla la estructura espacial y las relaciones de profundidad en las imágenes
  • Line Art (Canny/Sketch): controla los bordes y las líneas de las imágenes
  • Keypose: controla las poses y las acciones de los personajes
  • Segmentación (Seg): controla la composición de la escena mediante segmentación semántica
  • Color: controla el esquema de color general de las imágenes
En ComfyUI, el uso de T2I Adapter es similar a ControlNet en cuanto a interfaz y flujo de trabajo. En este ejemplo, mostraremos cómo usar un T2I Adapter de profundidad para controlar una escena de interior. Flujo de trabajo de Depth T2I Adapter en ComfyUI

​
Valor de las aplicaciones del Depth T2I Adapter

Los mapas de profundidad tienen varias aplicaciones importantes en la generación de imágenes:
  1. Control de la distribución espacial: describe con precisión estructuras espaciales tridimensionales, ideal para diseño de interiores y visualización arquitectónica
  2. Posición de los objetos: controla la posición relativa y el tamaño de los objetos en una escena, ideal para exhibiciones de productos y construcción de escenas
  3. Relaciones de perspectiva: mantiene una perspectiva y proporciones razonables, ideal para la generación de paisajes y escenas urbanas
  4. Distribución de luces y sombras: la distribución natural de luces y sombras basada en la información de profundidad refuerza el realismo
Usaremos el diseño de interiores como ejemplo para mostrar cómo usar el Depth T2I Adapter, pero estas técnicas también se aplican a otros escenarios.

​
Explicación del ejemplo de flujo de trabajo ComfyUI Depth T2I Adapter

​
1. Recursos del flujo de trabajo Depth T2I Adapter

Descarga la siguiente imagen de flujo de trabajo y arrástrala a ComfyUI para cargar el flujo de trabajo: ComfyUI Workflow - Depth T2I Adapter
Las imágenes que incluyen el JSON del flujo de trabajo en sus metadatos puedes arrastrarlas directamente a ComfyUI o cargarlas desde el menú Workflows -> Open (ctrl+o). Esta imagen ya incluye los enlaces de descarga de los modelos correspondientes, y al arrastrarla a ComfyUI se solicitará automáticamente la descarga.
Descarga la siguiente imagen, que usaremos como entrada: ComfyUI Interior Depth Map

​
2. Instalación de modelos

Si tu red no puede completar correctamente la descarga automática de los modelos correspondientes, intenta descargar manualmente los modelos que aparecen a continuación y colócalos en los directorios indicados:

​
3. Ejecución del flujo de trabajo paso a paso

ComfyUI Workflow - Depth T2I Adapter Flow Diagram
  1. Asegúrate de que Load Checkpoint pueda cargar interiordesignsuperm_v2.safetensors
  2. Asegúrate de que Load ControlNet pueda cargar t2iadapter_depth_sd15v2.pth
  3. Haz clic en Upload en el nodo Load Image para subir la imagen de entrada proporcionada anteriormente
  4. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar la generación de la imagen

​
Consejos generales para usar T2I Adapter

​
Optimización de la calidad de las imágenes de entrada

Independientemente del caso de uso, las imágenes de entrada de alta calidad son clave para usar T2I Adapter con éxito:
  1. Contraste moderado: Las imágenes de control (como mapas de profundidad o line art) deben tener un contraste claro, pero no demasiado extremo.
  2. Bordes definidos: Asegúrate de que las estructuras principales y los límites de los elementos se distingan claramente en la imagen de control.
  3. Control del ruido: Intenta evitar el ruido excesivo en las imágenes de control, especialmente en mapas de profundidad y line art.
  4. Distribución razonable: Las imágenes de control deben tener una distribución espacial y de elementos razonable.

​
Características del uso de T2I Adapter

Una de las principales ventajas de T2I Adapter es su capacidad de combinar fácilmente múltiples condiciones para lograr efectos de control complejos:
  1. Profundidad + Bordes: Controla la disposición espacial mientras mantienes bordes estructurales nítidos, ideal para arquitectura y diseño de interiores
  2. Line Art + Color: Controla las formas mientras especificas esquemas de color, ideal para diseño de personajes e ilustraciones
  3. Pose + Segmentación: Controla las acciones de los personajes mientras defines las áreas de la escena, ideal para escenas narrativas complejas
Combinar distintos T2I Adapter, o combinarlos con otros métodos de control (como ControlNet, prompts regionales, etc.), amplía aún más las posibilidades creativas. Para lograrlo, basta con encadenar varios nodos Apply ControlNet de la misma manera que se describe en Combinar ControlNet.