Atención dispersa por bloques del modelo - ComfyUI Built-in Node Documentation

El nodo Block Sparse Attention modifica un modelo para que sus capas de atención se centren solo en las partes más relevantes de la entrada en lugar de en todo a la vez, lo que reduce el trabajo computacional necesario para secuencias largas. El ahorro crece con la longitud de la secuencia, ya que las secuencias cortas suelen ser más rápidas con atención normal (densa).

​

Entradas

​

Entradas comunes

​

Entradas de sol-attn

​

Entradas de sla

​

Entradas de vsa

Nota: Solo se muestran en la interfaz los parámetros que pertenecen al método seleccionado actualmente.

​

Salidas

​

Restricciones y limitaciones

• Las secuencias más cortas que min_tokens, los bloques listados en dense_blocks y los pasos de muestreo fuera de la ventana de start_percent a end_percent recurren al backend de atención densa del modelo seleccionado por el nodo Model Attention Backend.
• extra_tokens se ignora cuando se selecciona el método vsa. Se registra un mensaje porque los pesos de VSA se entrenaron con su patrón disperso.
• El método vsa requiere un modelo MiniMax-H3; cualquier otro modelo genera un error. Si al modelo le faltan las capas to_gate_compress, la etapa fina se ejecuta sin la rama gruesa y se registra una advertencia.
• dense_blocks se ignora para los modelos que no reportan índices de bloques, lo cual se indica en el registro cuando verbose está habilitado.
• sink_conditioning solo se aplica a modelos MiniMax-H3 que reportan una disposición que coincide con la longitud de secuencia actual.

Esta documentación fue generada por IA. Si encuentra algún error o tiene sugerencias de mejora, ¡no dude en contribuir! Editar en GitHub

---

Source fingerprint (SHA-256): 0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4