Cómo solucionar problemas de modelos en ComfyUI

Incompatibilidad de arquitectura de modelos

• Given groups=1, weight of size [64, 4, 3, 3], expected input[1, 16, 128, 128] to have 4 channels, but got 16 channels instead
• Given groups=1, weight of size [4, 4, 1, 1], expected input[1, 16, 144, 112] to have 4 channels, but got 16 channels instead
• Given groups=1, weight of size [320, 4, 3, 3], expected input[2, 16, 192, 128] to have 4 channels, but got 16 channels instead
• The size of tensor a (49) must match the size of tensor b (16) at non-singleton dimension 1
• Tensors must have same number of dimensions: got 2 and 3
• mat1 and mat2 shapes cannot be multiplied (154x2048 and 768x320)

Soluciones

1. Verifica la compatibilidad de la familia de modelos:
   • Los modelos Flux usan un espacio latente de 16 canales con acondicionamiento de doble codificador de texto (CLIP-L + T5-XXL)
   • Los modelos SD1.5 usan un espacio latente de 4 canales con un único codificador de texto CLIP ViT-L/14
   • Los modelos SDXL usan un espacio latente de 4 canales con doble codificador de texto (CLIP ViT-L/14 + OpenCLIP ViT-bigG/14)
   • Los modelos SD3 usan un espacio latente de 16 canales con acondicionamiento de triple codificador de texto (CLIP-L + OpenCLIP bigG + T5-XXL)
   • Los modelos ControlNet deben coincidir con la arquitectura del checkpoint base (los ControlNets de SD1.5 solo funcionan con checkpoints SD1.5, los ControlNets de SDXL solo funcionan con checkpoints SDXL, etc.)
2. Escenarios comunes de incompatibilidad y soluciones: Flux + VAE incorrecto:
   Problema: Usar taesd o sdxl_vae.safetensors con un checkpoint Flux
   Solución: Usa ae.safetensors (VAE de Flux) de las versiones de Flux en Hugging Face
   
   Flux + configuración incorrecta de CLIP:
   Problema: Usar t5xxl_fp8_e4m3fn.safetensors en ambas ranuras de CLIP de DualClipLoader
   Solución: Usa t5xxl_fp8_e4m3fn.safetensors en una ranura y clip_l.safetensors en la otra
   
   Incompatibilidad de arquitectura de ControlNet:
   Problema: ControlNet de SD1.5 con un checkpoint SDXL (o viceversa)
   Error: "mat1 and mat2 shapes cannot be multiplied (154x2048 and 768x320)"
   Solución: Usa modelos ControlNet diseñados para la arquitectura de tu checkpoint
        - Los checkpoints SD1.5 requieren ControlNets de SD1.5
        - Los checkpoints SDXL requieren ControlNets de SDXL
   
3. Diagnóstico rápido:
   # Verifica si el error ocurre en la etapa de decodificación VAE
   # Busca "expected input[X, Y, Z] to have N channels, but got M channels"
   # El valor Y indica el número de canales: 4 = modelos SD, 16 = modelos Flux
   
4. Estrategias de prevención:
   • Mantén todos los modelos del flujo de trabajo dentro de la misma familia de arquitectura
   • Descarga paquetes de modelos completos de la misma fuente o versión (a menudo todos en un repositorio de Hugging Face)
   • Cuando pruebes modelos nuevos, empieza con los flujos de trabajo de plantilla o con los ejemplos de flujos de trabajo oficiales de ComfyUI antes de personalizarlos

Error de modelos faltantes

Prompt execution failed
Prompt outputs failed validation:
CheckpointLoaderSimple:
- Value not in list: ckpt_name: 'model-name.safetensors' not in []

Soluciones

1. Descarga los modelos requeridos:
   • Usa ComfyUI Manager para descargar los modelos automáticamente
   • Verifica que los modelos estén en las subcarpetas correctas
2. Verifica las rutas de los modelos:
   • Checkpoints: models/checkpoints/
   • VAE: models/vae/
   • LoRA: models/loras/
   • ControlNet: models/controlnet/
   • Embeddings: models/embeddings/
3. Comparte modelos entre interfaces o usa rutas personalizadas:
   • Consulta Compartir modelos de ComfyUI y configuración de directorios de modelos personalizados para ver las instrucciones detalladas
   • Edita el archivo extra_model_paths.yaml para agregar directorios de modelos personalizados

Configuración de rutas de búsqueda de modelos

Errores al cargar modelos

Soluciones

1. Vuelve a descargar el modelo: el archivo puede estar dañado durante la descarga
2. Verifica el espacio disponible en disco: asegúrate de tener suficiente espacio para cargar el modelo (los modelos pueden ocupar 2-15GB+)
3. Revisa los permisos de los archivos: asegúrate de que ComfyUI pueda leer los archivos del modelo
4. Prueba con un modelo diferente: verifica si el problema es específico del modelo o de todo el sistema

Problemas de rendimiento de los modelos

Carga lenta de modelos

1. Usa un almacenamiento más rápido:
   • Mueve los modelos a un SSD si usas un HDD
   • Usa un SSD NVMe para obtener el mejor rendimiento
2. Ajusta la configuración de la caché:
   python main.py --cache-classic       # Usa el estilo antiguo (agresivo) de caché. 
   python main.py --cache-lru 10         # Aumenta el tamaño de la caché LRU
   

Problemas de memoria con modelos grandes

# Reducción progresiva de memoria
python main.py --lowvram          # Primer intento
python main.py --novram           # Si lowvram no es suficiente  
python main.py --cpu              # Último recurso

# Fuerza una precisión más baja
python main.py --force-fp16

# Reduce el uso de memoria de la atención
python main.py --use-pytorch-cross-attention