Tencent が Simple-Attention-Sparsification を投入 ── 推論時のコンテキスト選択を最適化
長文推論のコストを削る手法は多いけど、このアプローチの「差」がちょっと面白い。Tencentが公開したSimple Attention Sparsification (SAS)は、単に重要な情報を切り取るだけでなく、モデルが学習を通じて「どこを見るべきか」を継続的に調整する仕組みを導入している。
▸何が変わったのか
従来のスパースアテンション手法では、密集したアテンションスコアから選択器を蒸留していましたが、SASは異なるアプローチを取ります。選択されたKVブロックに対して連続的なゲートを追加し、言語モデリングロスを通じてコンテキストランキングをエンドツーエンドで最適化可能にしました。これにより、離散的なTop-Kブロック選択に対して微分可能なパスを提供します。公開されたチェックポイントはQwen3-4B、8B、14Bに対応し、ゲートパラメータサイズは33.0Mから42.0M程度です。KVブロックサイズは64トークン、トレーニング時のTop-Kは31履歴ブロックとして設定されています。
◈技術背景と意義
普段のTransformerモデルは、入力されたすべてのトークンに対してアテンションを計算しています。SASは、その計算量を減らすために「本当に必要な情報だけを見る」ようにしますが、単純に重要度スコアで切るのではなく、学習可能な「ゲート」を使って、モデル自身が推論時にどの情報を見れば良いかを動的に判断するようにしています。これにより、固定されたルールではなく、タスクや文脈に応じて柔軟な情報選択が可能になります。
▸こんな人・用途に
[‘長文コンテキストでの推論コスト削減を求めている開発者’, ‘SGLangとQwen3モデルを組み合わせたインフラを構築しているチーム’, ‘スパースアテンションの実装例を探している研究者’]
◆入手方法・リンク
Hugging Face上でオープンソースとして公開されています。注意点は、これらは独立した言語モデルではなく、ルーター専用のチェックポイントである点です。推論には対応するQwen3ベースモデルと、seerattnバックエンドを含むsglang-blocksparseフォークが必要です。
SOURCE: Tencent (2026-09-14)
