Skip to main content
Flux.1 ControlNet Canny Flux.1 ControlNet de profundidad

​
Introducción a los modelos FLUX.1 ControlNet

FLUX.1 Canny y Depth son dos modelos potentes de FLUX.1 Tools lanzados por Black Forest Labs. Este conjunto de herramientas está diseñado para añadir capacidades de control y orientación a FLUX.1, lo que permite modificar y recrear imágenes reales o generadas. FLUX.1-Depth-dev y FLUX.1-Canny-dev son modelos Rectified Flow Transformer de 12B parámetros que pueden generar imágenes a partir de descripciones de texto manteniendo las características estructurales de la imagen de entrada. La versión Depth mantiene la estructura espacial de la imagen fuente mediante técnicas de extracción de mapas de profundidad, mientras que la versión Canny utiliza técnicas de detección de bordes para preservar las características estructurales de la imagen fuente, lo que te permite elegir el método de control adecuado según tus necesidades. Ambos modelos tienen las siguientes características:
  • Calidad de salida y representación de detalles de primer nivel
  • Excelente capacidad de seguimiento del prompt, manteniendo la consistencia con la imagen original
  • Entrenados con técnicas de destilación guiada para mejorar la eficiencia
  • Pesos abiertos para la comunidad investigadora
  • Interfaces API (versión pro) y pesos de código abierto (versión dev)
Además, Black Forest Labs también ofrece FLUX.1-Depth-dev-lora y FLUX.1-Canny-dev-lora, versiones adaptadoras extraídas de los modelos completos. Estas pueden aplicarse al modelo base FLUX.1 [dev] para ofrecer una funcionalidad similar con un tamaño de archivo menor, especialmente adecuadas para entornos con recursos limitados. Usaremos la versión completa de FLUX.1-Canny-dev y FLUX.1-Depth-dev-lora para completar los ejemplos de flujo de trabajo.
Los metadatos de todas las imágenes de los flujos de trabajo contienen la información de descarga del modelo correspondiente. Puedes cargar los flujos de trabajo de estas formas:
  • Arrastrándolos directamente a ComfyUI
  • O usando el menú Workflows -> Open（ctrl+o）
Si no usas la versión Desktop o algunos modelos no se pueden descargar automáticamente, consulta las secciones de instalación manual para guardar los archivos de modelo en la carpeta correspondiente.Para los preprocesadores de imágenes, puedes usar los siguientes Nodos personalizados para completar el preprocesamiento de imágenes. En este ejemplo, proporcionaremos imágenes ya procesadas como entrada.

​
Flujo de trabajo completo de FLUX.1-Canny-dev

​
Modelo Flux.1 Canny

Genera imágenes guiadas por detección de bordes con Flux.1 Canny. Vista previa del flujo de trabajo de Flux.1 Canny

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Flux.1 Canny” en la Biblioteca de plantillas
Materiales de entrada Sube este archivo al nodo LoadImage correspondiente:

flux_canny_model_example_input_image.png

Nodo LoadImage 17 · flux_canny_model_example_input_image.png
flux_canny_model_example_input_image.png

​
1. Flujo de trabajo y recursos

​
2. Instalación manual de modelos

Si ya has usado la versión completa de los flujos de trabajo relacionados con Flux, solo necesitas descargar el archivo de modelo flux1-canny-dev.safetensors. Como primero debes aceptar los términos de black-forest-labs/FLUX.1-Canny-dev, visita la página de black-forest-labs/FLUX.1-Canny-dev y asegúrate de haber aceptado los términos correspondientes, como se muestra en la imagen siguiente.Acuerdo de Flux
Lista completa de modelos: Ubicación de almacenamiento de los archivos:

​
3. Ejecución paso a paso del flujo de trabajo

Proceso paso a paso de Flux.1 Canny Controlnet en ComfyUI
  1. Asegúrate de que ae.safetensors esté cargado en el nodo Load VAE
  2. Asegúrate de que flux1-canny-dev.safetensors esté cargado en el nodo Load Diffusion Model
  3. Asegúrate de que los siguientes modelos estén cargados en el nodo DualCLIPLoader:
    • clip_name1: t5xxl_fp16.safetensors
    • clip_name2: clip_l.safetensors
  4. Sube la imagen de entrada proporcionada en el nodo Load Image
  5. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​
4. Iniciar tu experimentación

Prueba a usar el modelo FLUX.1-Depth-dev para completar la versión Depth del flujo de trabajo Puedes usar la imagen siguiente como entrada Mapa de profundidad de interior en ComfyUI O usa los siguientes Nodos personalizados para completar el preprocesamiento de imágenes:

​
Flujo de trabajo FLUX.1-Depth-dev-lora

​
LoRA de profundidad Flux.1

Genera imágenes guiadas por información de profundidad con el LoRA de Flux.1. Vista previa del flujo de trabajo Flux.1 Depth LoRA

Ejecutar en Comfy Cloud

Abrir en Comfy Cloud

Descargar flujo de trabajo

Descarga el JSON o busca “Flux.1 Depth LoRA” en la Biblioteca de plantillas
Materiales de entrada Sube este archivo al nodo LoadImage correspondiente:

flux_depth_lora_example_input_image.png

Nodo LoadImage 17 · flux_depth_lora_example_input_image.png
flux_depth_lora_example_input_image.png

​
1. Flujo de trabajo y recursos

​
2. Descarga manual de modelos

Si ya has usado antes la versión completa de los flujos de trabajo de Flux, solo necesitas descargar el archivo de modelo flux1-depth-dev-lora.safetensors.
Lista completa de modelos: Ubicación de los archivos:

​
3. Ejecución del flujo de trabajo paso a paso

Proceso paso a paso de Flux.1 Depth ControlNet en ComfyUI
  1. Asegúrate de que flux1-dev.safetensors está cargado en el nodo Load Diffusion Model
  2. Asegúrate de que flux1-depth-dev-lora.safetensors está cargado en el nodo LoraLoaderModelOnly
  3. Asegúrate de que los siguientes modelos están cargados en el nodo DualCLIPLoader:
    • clip_name1: t5xxl_fp16.safetensors
    • clip_name2: clip_l.safetensors
  4. Sube la imagen de entrada proporcionada en el nodo Load Image
  5. Asegúrate de que ae.safetensors está cargado en el nodo Load VAE
  6. Haz clic en el botón Queue o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​
4. Empieza a experimentar

Prueba a usar el modelo FLUX.1-Canny-dev-lora para completar la versión Canny del flujo de trabajo Usa ComfyUI-Advanced-ControlNet o ComfyUI ControlNet aux para completar el preprocesamiento de imágenes

​
Versiones de la comunidad de ControlNets para Flux

XLab e InstantX + Shakker Labs han lanzado ControlNets para Flux. InstantX: XLab: flux-controlnet-collections Coloca estos archivos en el directorio ComfyUI/models/controlnet. Puedes visitar Flux Controlnet Example para obtener la imagen del flujo de trabajo correspondiente y usar la imagen de aquí como imagen de entrada.