BlockSparseAttention - ComfyUI Built-in Node Documentation

Block Sparse Attention ノードは、アテンション層が入力全体ではなく最も関連する部分のみに注目するようにモデルを変更し、長いシーケンスに必要な計算量を削減します。短いシーケンスでは通常の（密な）アテンションの方が速いことが多いため、この削減効果はシーケンス長が長くなるほど大きくなります。

入力

共通入力

パラメータ	説明	データ型	必須	範囲
`model`	パッチを適用するモデル。	MODEL	はい	N/A
`selection`	完全なトークンレベルのアテンションでキーブロックを選択するために使用するメソッド（`method` として表示されます）。 `sol-attn`：Sparsifying Online Attention は、各アテンションヘッドとクエリブロックに対してトレーニング不要の適応しきい値を使用します。 `sla`：Sparse-Linear Attention は、最高スコアのキーブロックの固定割合を保持します。このパターン用にトレーニングされたモデルの重みとのみ使用してください。 `vsa`：Video Sparse Attention（FastVideo）は、3Dビデオキューブタイリングと学習済みの粗いアテンションブランチを使用します。FastH3 モデルの重みが必要です。	DYNAMIC_COMBO	はい	`"sol-attn"` `"sla"` `"vsa"`
`start_percent`	スパースアテンションが開始されるパーセント値です。この値より前は、アテンションは密なままです。デフォルト：0.2。	FLOAT	いいえ	min: 0.0, max: 1.0, step: 0.01
`end_percent`	スパースアテンションが終了するパーセント値です。この値より後は、アテンションは密な状態に戻ります。デフォルト：1.0。	FLOAT	いいえ	min: 0.0, max: 1.0, step: 0.01
`dense_blocks`	常に密に実行される Transformer ブロック（例：‘0, 1, 47-49’）。デフォルト：""（空）。詳細設定入力。	STRING	いいえ	Default: ""
`min_tokens`	これより短いシーケンスは密なままです。デフォルト：12288。詳細設定入力。	INT	いいえ	min: 0, max: 1048576, step: 512
`extra_tokens`	各クエリブロックが選択したブロックに加えて注目する、追加の最高スコアトークン。値を大きくすると密なアテンションに近づき、アテンション時間が増えます。256 を推奨、0 で無効になります。VSA では無視されます。デフォルト：256。詳細設定入力。	INT	いいえ	min: 0, max: 256, step: 64
`sink_conditioning`	MiniMax-H3 のみ。`exact_kv`：すべてのクエリがパックされたテキスト/音声/参照行に正確に注目します（コスト約 3%）。`exact_kv_and_rows`：さらにターゲット音声のクエリ行を密に実行します（生成音声を維持します）。`off` はこの動作を無効にします。デフォルト：“exact_kv_and_rows”。詳細設定入力。	COMBO	いいえ	`"exact_kv"` `"exact_kv_and_rows"` `"off"`
`verbose`	各アテンション形状がスパースアテンションを使用したか、または密なままだった理由をログに記録します。デフォルト：False。詳細設定入力。	BOOLEAN	いいえ	Default: False

sol-attn 入力

パラメータ	説明	データ型	必須	範囲
`tau`	スコア分布のシグマ単位のしきい値。値が高いほどスパースになります。1.0 はキーブロックの約 16% を正確に保持し、1.5 は約 7%、2.0 は約 2.7% を保持します。デフォルト：1.3。	FLOAT	いいえ	min: 0.0, max: 4.0, step: 0.05

sla 入力

パラメータ	説明	データ型	必須	範囲
`keep_percent`	各クエリブロックが正確に保持するキーブロックの割合（％）。シンクと対角はその上に加わります。選択された SLA スタイルの LoRA はこれに対して蒸留されています。そのような LoRA がない場合、値を高くすると密なアテンションに近づきます。デフォルト：10.0。	FLOAT	いいえ	min: 0.5, max: 95.0, step: 0.5

vsa 入力

パラメータ	説明	データ型	必須	範囲
`keep_percent`	各クエリキューブが保持するビデオキューブの割合（％）。FastH3-VSA チェックポイントは 10 でトレーニングされています。存在する場合、粗いブランチにモデルの `to_gate_compress` 層を使用します。デフォルト：10.0。	FLOAT	いいえ	min: 0.5, max: 95.0, step: 0.5

注記： 現在選択されているメソッドに属するパラメータのみがインターフェースに表示されます。

出力

出力名	説明	データ型
`model`	ブロックスパースアテンションが適用されたモデル。	MODEL

制約と制限

min_tokens より短いシーケンス、dense_blocks に記載されたブロック、および start_percent から end_percent の範囲外のサンプリングステップは、Model Attention Backend ノードで選択された密なモデルアテンションバックエンドにフォールバックします。
vsa メソッドが選択されている場合、extra_tokens は無視されます。VSA の重みはスパースパターンに対してトレーニングされているため、メッセージがログに記録されます。
vsa メソッドには MiniMax-H3 モデルが必要です。それ以外のモデルではエラーが発生します。モデルに to_gate_compress 層がない場合、ファインステージは粗いブランチなしで実行され、警告がログに記録されます。
ブロックインデックスを報告しないモデルでは dense_blocks は無視されます。これは verbose が有効な場合にログに記録されます。
sink_conditioning は、現在のシーケンス長に一致するレイアウトを報告する MiniMax-H3 モデルにのみ適用されます。

このドキュメントは AI によって生成されました。エラーを見つけた場合や改善のご提案がある場合は、ぜひ貢献してください！ GitHub で編集

Source fingerprint (SHA-256): 0c34876b49a04db0ab265526e2bb5f784e150591aab631713ad2ab420a3327c4

​入力

​共通入力

​sol-attn 入力

​sla 入力

​vsa 入力

​出力

​制約と制限

入力

共通入力

sol-attn 入力

sla 入力

vsa 入力

出力

制約と制限