> ## Documentation Index > Fetch the complete documentation index at: https://docs.comfy.org/llms.txt > Use this file to discover all available pages before exploring further. # BlockSparseAttention - ComfyUI Built-in Node Documentation > Block Sparse Attention 노드는 모델을 수정하여 어텐션 레이어가 입력의 모든 부분을 한 번에 처리하는 대신 가장 관련성 높은 부분에만 집중하도록 합니다. 이는 긴 시퀀스에 필요한 연산 작업을 줄여 줍니다. 절약 효과는 시퀀스 길이가 길어질수록 커지며, 짧은 시퀀스는 보통 일반(밀집) 어텐션을 사용할 **Block Sparse Attention** 노드는 모델을 수정하여 어텐션 레이어가 입력의 모든 부분을 한 번에 처리하는 대신 가장 관련성 높은 부분에만 집중하도록 합니다. 이는 긴 시퀀스에 필요한 연산 작업을 줄여 줍니다. 절약 효과는 시퀀스 길이가 길어질수록 커지며, 짧은 시퀀스는 보통 일반(밀집) 어텐션을 사용할 때 더 빠릅니다. ## 입력 ### 공통 입력 | 매개변수 | 설명 | 데이터 타입 | 필수 | 범위 | | ------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | -------------- | --- | ---------------------------------------------------- | | `model` | 패치할 모델입니다. | MODEL | 예 | N/A | | `selection` | 전체 토큰 수준 어텐션을 위한 키 블록을 선택하는 데 사용되는 방법입니다(`method`로 표시됩니다).
`sol-attn`: Sparsifying Online Attention은 각 어텐션 헤드와 쿼리 블록에 대해 학습이 필요 없는 적응형 임계값을 사용합니다.
`sla`: Sparse-Linear Attention은 가장 높은 점수의 키 블록을 고정된 비율만큼 유지합니다. 이 패턴으로 학습된 모델 가중치에만 사용하세요.
`vsa`: Video Sparse Attention(FastVideo)은 3D 비디오 큐브 타일링과 학습된 거친 어텐션 분기를 사용합니다. FastH3 모델 가중치가 필요합니다. | DYNAMIC\_COMBO | 예 | `"sol-attn"`
`"sla"`
`"vsa"` | | `start_percent` | 희소 어텐션이 시작되는 백분율 지점입니다. 이 지점 이전에는 어텐션이 밀집 상태로 유지됩니다. 기본값: 0.2. | FLOAT | 아니요 | min: 0.0, max: 1.0, step: 0.01 | | `end_percent` | 희소 어텐션이 끝나는 백분율 지점입니다. 이 지점 이후에는 어텐션이 다시 밀집 방식으로 돌아갑니다. 기본값: 1.0. | FLOAT | 아니요 | min: 0.0, max: 1.0, step: 0.01 | | `dense_blocks` | 항상 밀집 방식으로 실행되는 Transformer 블록입니다. 예: '0, 1, 47-49'. 기본값: "" (빈 문자열). 고급 입력입니다. | STRING | 아니요 | Default: "" | | `min_tokens` | 이 값보다 짧은 시퀀스는 밀집 상태로 유지됩니다. 기본값: 12288. 고급 입력입니다. | INT | 아니요 | min: 0, max: 1048576, step: 512 | | `extra_tokens` | 각 쿼리 블록이 선택한 블록 외에 추가로 어텐션하는 최고 점수 토큰입니다. 어텐션 시간이 늘어날수록 밀집 방식에 가까워집니다. 256을 권장하며, 0은 비활성화합니다. VSA에서는 무시됩니다. 기본값: 256. 고급 입력입니다. | INT | 아니요 | min: 0, max: 256, step: 64 | | `sink_conditioning` | MiniMax-H3 전용입니다. `exact_kv`: 모든 쿼리가 패킹된 텍스트/오디오/참조 행에 정확히 어텐션합니다(약 3% 비용). `exact_kv_and_rows`: 추가로 대상 오디오 쿼리 행을 밀집 방식으로 실행합니다(생성된 오디오를 그대로 유지). `off`는 이 동작을 비활성화합니다. 기본값: "exact\_kv\_and\_rows". 고급 입력입니다. | COMBO | 아니요 | `"exact_kv"`
`"exact_kv_and_rows"`
`"off"` | | `verbose` | 각 어텐션 형태가 희소 어텐션을 사용했는지 또는 왜 밀집 상태로 유지되었는지를 로그로 기록합니다. 기본값: False. 고급 입력입니다. | BOOLEAN | 아니요 | Default: False | ### sol-attn 입력 | 매개변수 | 설명 | 데이터 타입 | 필수 | 범위 | | ----- | ----------------------------------------------------------------------------------------------------------------- | ------ | --- | ------------------------------ | | `tau` | 점수 분포의 시그마 단위로 표현된 임계값입니다. 값이 높을수록 더 희소해집니다. 1.0은 키 블록의 약 16%를 정확히 유지하고, 1.5는 약 7%, 2.0은 약 2.7%를 유지합니다. 기본값: 1.3. | FLOAT | 아니요 | min: 0.0, max: 4.0, step: 0.05 | ### sla 입력 | 매개변수 | 설명 | 데이터 타입 | 필수 | 범위 | | -------------- | -------------------------------------------------------------------------------------------------------------------------------------- | ------ | --- | ------------------------------ | | `keep_percent` | 각 쿼리 블록이 정확히 유지하는 키 블록의 백분율입니다(싱크와 대각선은 추가로 적용됩니다). SLA 스타일 LoRA가 증류 대상으로 삼는 선택 비율입니다. 이러한 LoRA가 없으면 값이 높을수록 밀집 방식에 가까워집니다. 기본값: 10.0. | FLOAT | 아니요 | min: 0.5, max: 95.0, step: 0.5 | ### vsa 입력 | 매개변수 | 설명 | 데이터 타입 | 필수 | 범위 | | -------------- | ---------------------------------------------------------------------------------------------------------------------- | ------ | --- | ------------------------------ | | `keep_percent` | 각 쿼리 큐브가 유지하는 비디오 큐브의 백분율입니다. FastH3-VSA 체크포인트는 10에서 학습되었습니다. 모델에 `to_gate_compress` 레이어가 있으면 거친 분기에 사용합니다. 기본값: 10.0. | FLOAT | 아니요 | min: 0.5, max: 95.0, step: 0.5 | **참고:** 현재 선택된 방법에 속하는 매개변수만 인터페이스에 표시됩니다. ## 출력 | 출력 이름 | 설명 | 데이터 타입 | | ------- | --------------------- | ------ | | `model` | 블록 희소 어텐션이 적용된 모델입니다. | MODEL | ## 제약 및 제한 사항 * `min_tokens`보다 짧은 시퀀스, `dense_blocks`에 나열된 블록, 그리고 `start_percent`에서 `end_percent` 범위 밖의 샘플링 단계는 Model Attention Backend 노드에서 선택한 밀집 모델 어텐션 백엔드로 폴백됩니다. * `vsa` 방법이 선택되면 `extra_tokens`은 무시됩니다. VSA 가중치가 자체 희소 패턴을 기준으로 학습되었기 때문에 메시지가 로그에 기록됩니다. * `vsa` 방법은 MiniMax-H3 모델이 필요하며, 다른 모델을 사용하면 오류가 발생합니다. 모델에 `to_gate_compress` 레이어가 없으면 세밀 단계가 거친 분기 없이 실행되고 경고가 로그에 기록됩니다. * `dense_blocks`는 블록 인덱스를 보고하지 않는 모델에서는 무시되며, `verbose`가 활성화된 경우 로그에 이 사실이 기록됩니다. * `sink_conditioning`은 현재 시퀀스 길이와 일치하는 레이아웃을 보고하는 MiniMax-H3 모델에만 적용됩니다. > 이 문서는 AI에 의해 생성되었습니다. 오류를 발견하거나 개선 제안이 있으시면 기여해 주세요! [GitHub에서 편집](https://github.com/Comfy-Org/embedded-docs/blob/main/comfyui_embedded_docs/docs/BlockSparseAttention/ko.md) *** **Source fingerprint (SHA-256):** `0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4`