Ejemplo de flujo de trabajo nativo de Qwen-Image en ComfyUI

• Excelente renderizado de texto multilingüe: admite la generación de texto de alta precisión en varios idiomas, incluidos inglés, chino, coreano y japonés, manteniendo los detalles tipográficos y la consistencia del diseño
• Estilos artísticos diversos: desde escenas fotorrealistas hasta pinturas impresionistas, desde la estética anime hasta el diseño minimalista, adaptándose con fluidez a distintos prompts creativos

• GitHub
• Hugging Face
• ModelScope

• Qwen-Image-DiffSynth-ControlNets/model_patches: incluye modelos canny, de profundidad e inpaint
• qwen_image_union_diffsynth_lora.safetensors: LoRA de control de la estructura de la imagen compatible con canny, profundidad, pose, arte lineal, softedge, normal y openpose
• InstantX ControlNet: pendiente de actualización

​

Transmisión en vivo de Qwen-Image de ComfyOrg

​

Ejemplo de flujo de trabajo nativo de Qwen-Image

​

Qwen-Image: Texto a imagen

1. Modelo original Qwen-Image fp8_e4m3fn
2. Versión acelerada de 8 pasos: modelo original Qwen-Image fp8_e4m3fn con el LoRA de 8 pasos de lightx2v
3. Versión destilada: modelo destilado Qwen-Image fp8_e4m3fn

​

1. Archivo del flujo de trabajo

Después de actualizar ComfyUI, puedes encontrar el archivo del flujo de trabajo en las plantillas, o arrastrar el flujo de trabajo que aparece a continuación a ComfyUI para cargarlo.

​

2. Descarga de modelos

• Qwen-Image_bf16 (40.9 GB)
• Qwen-Image_fp8 (20.4 GB)
• Versiones destiladas (no oficiales, solo requieren 15 pasos)

• qwen_image_fp8_e4m3fn.safetensors

• qwen_image_distill_full_fp8_e4m3fn.safetensors
• qwen_image_distill_full_bf16.safetensors

• Qwen-Image-Lightning-8steps-V1.0.safetensors

• qwen_2.5_vl_7b_fp8_scaled.safetensors

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── qwen_image_fp8_e4m3fn.safetensors
│   │   └── qwen_image_distill_full_fp8_e4m3fn.safetensors ## versión destilada
│   ├── 📂 loras/
│   │   └── Qwen-Image-Lightning-8steps-V1.0.safetensors   ## modelo LoRA de aceleración de 8 pasos
│   ├── 📂 vae/
│   │   └── qwen_image_vae.safetensors
│   └── 📂 text_encoders/
│       └── qwen_2.5_vl_7b_fp8_scaled.safetensors

​

3. Instrucciones del flujo de trabajo

1. Asegúrate de que el nodo Load Diffusion Model haya cargado qwen_image_fp8_e4m3fn.safetensors
2. Asegúrate de que el nodo Load CLIP haya cargado qwen_2.5_vl_7b_fp8_scaled.safetensors
3. Asegúrate de que el nodo Load VAE haya cargado qwen_image_vae.safetensors
4. Asegúrate de que el nodo EmptySD3LatentImage tenga configuradas las dimensiones de imagen correctas
5. Configura tu prompt en el nodo CLIP Text Encoder; actualmente admite al menos inglés, chino, coreano, japonés, italiano, etc.
6. Si quieres habilitar el LoRA de aceleración de 8 pasos de lightx2v, selecciona el nodo y usa Ctrl + B para habilitarlo, y modifica las configuraciones del KSampler como se describe en el paso 8
7. Haz clic en el botón Queue, o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo
8. Para las diferentes versiones de modelos y flujos de trabajo, ajusta los parámetros del KSampler en consecuencia

​

Flujo de trabajo con ControlNet InstantX de Qwen Image

​

Qwen-Image InstantX Union ControlNet

​

1. Flujo de trabajo e imágenes de entrada

​

2. Enlaces a los modelos

1. InstantX Controlnet

2. Modelo Lotus Depth

• lotus-depth-d-v1-1.safetensors

• vae-ft-mse-840000-ema-pruned.safetensors o cualquier VAE de SD1.5

ComfyUI/
├── models/
│   ├── diffusion_models/
│   │   └─── lotus-depth-d-v1-1.safetensors
│   └── vae/
│       └──  lvae-ft-mse-840000-ema-pruned.safetensors

También puedes usar Nodos personalizados como comfyui_controlnet_aux para generar el mapa de profundidad.

​

3. Instrucciones del flujo de trabajo

1. Asegúrate de que el nodo Load ControlNet Model cargue correctamente el modelo Qwen-Image-InstantX-ControlNet-Union.safetensors
2. Sube la imagen de entrada
3. Este subgrafo usa el modelo Lotus Depth. Puedes encontrarlo en las Plantillas o editar el subgrafo para aprender más; asegúrate de que todos los modelos estén cargados correctamente
4. Haz clic en el botón Run, o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​

Flujo de trabajo de parches de modelo ControlNet DiffSynth-ControlNets para Qwen Image

​

Parche de modelo ControlNet de Qwen-Image

​

1. Flujo de trabajo e imágenes de entrada

​

2. Enlaces a los modelos

• qwen_image_canny_diffsynth_controlnet.safetensors
• qwen_image_depth_diffsynth_controlnet.safetensors
• qwen_image_inpaint_diffsynth_controlnet.safetensors

​

3. Instrucciones de uso del flujo de trabajo

• Canny: borde Canny procesado, contornos de line art
• Profundidad: mapa de profundidad preprocesado que muestra las relaciones espaciales
• Relleno inteligente: requiere usar una máscara para marcar las áreas que se deben repintar

1. Asegúrate de que qwen_image_canny_diffsynth_controlnet.safetensors esté cargado
2. Sube la imagen de entrada para el procesamiento posterior
3. El nodo Canny es un nodo de preprocesamiento nativo que preprocesa la imagen de entrada según los parámetros que definas para controlar la generación
4. Si lo necesitas, puedes modificar strength en el nodo QwenImageDiffsynthControlnet para controlar la intensidad del control de line art
5. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

Para usar qwen_image_depth_diffsynth_controlnet.safetensors, debes preprocesar la imagen a un mapa de profundidad y reemplazar la parte de image processing. Para este uso, consulta el método de procesamiento de InstantX en este documento. Las demás partes son similares al uso del modelo Canny.

1. Asegúrate de que ModelPatchLoader cargue el modelo qwen_image_inpaint_diffsynth_controlnet.safetensors
2. Sube la imagen y usa el Editor de máscara para dibujar una máscara. Debes conectar la salida mask del nodo Load Image correspondiente a la entrada mask de QwenImageDiffsynthControlnet para asegurar que se cargue la máscara correspondiente
3. Usa el atajo Ctrl-B para poner el Canny original del flujo de trabajo en modo Omitir, de modo que el procesamiento del nodo Canny correspondiente no tenga efecto
4. En CLIP Text Encoder, escribe aquello a lo que quieres cambiar el área enmascarada
5. Si lo necesitas, puedes modificar strength en el nodo QwenImageDiffsynthControlnet para controlar la intensidad de control correspondiente
6. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

​

Flujo de trabajo LoRA de ControlNet Union de Qwen Image

​

Control Union de Qwen-Image

​

1. Flujo de trabajo e imágenes de entrada

​

2. Enlaces de modelos

• qwen_image_union_diffsynth_lora.safetensors: LoRA de control de estructura de imagen compatible con canny, profundidad, pose, arte lineal, softedge, normal y openpose

​

3. Instrucciones del flujo de trabajo

1. Asegúrate de que LoraLoaderModelOnly cargue correctamente el modelo qwen_image_union_diffsynth_lora.safetensors
2. Sube la imagen de entrada
3. Si es necesario, puedes ajustar los parámetros del nodo Canny. Como cada imagen de entrada requiere distintos valores de parámetros para obtener un mejor resultado de preprocesamiento, puedes probar a ajustar los valores correspondientes para obtener más o menos detalles
4. Haz clic en el botón Run o usa el atajo Ctrl(cmd) + Enter para ejecutar el flujo de trabajo

Para otros tipos de control, también debes reemplazar la parte de procesamiento de imágenes.