Tencent が HiLS-Attention-7B をリリース ── 計算コストを抑えつつ無限の文脈を処理する新しいアテンション機構
長文コンテキストの処理コストは、LLM開発における永遠の課題だ。Tencentが発表した「HiLS-Attention-7B」は、この問題に切り込むかなり野心的なアプローチに見える。フルアテンションの性能を保ちながら、推論の高速化と超長文への外挿を両立させたというから期待が高まる。
▸何が変わったのか
OLMo3-7Bをベースに、たった50Bトークンの継続学習でフルアテンションの能力を引き継いでいる。最大の目玉は、YaRNで拡張された4倍の長さを超える「強力な超長文コンテキスト外挿」と「長文シーケンスの高速推論」。従来のブロックスパースアテンションは重要チャンクの選択に全QK計算を必要としたが、HiLS-Attentionは圧縮チャンクキーで代理値を推定し、チャンク間・チャンク内のsoftmaxに因数分解。次トークン予測損失からのエンドツーエンド学習を実現している。
◈前モデル / 競合との比較
短・中距離コンテキストのタスクにおいても、オリジナルの学習長およびYaRN外挿範囲内で同等のパフォーマンスを維持している点がポイント。
◈技術背景と意義
LLMの文脈が長くなると、注意機構（アテンション）の計算量が爆発的に増えるのが弱点だった。重要な部分だけを選ぶ「スパースアテンション」も、その選別自体に計算コストがかかっていた。HiLS-Attentionは、チャンクを圧縮してざっくり重要度を予測し、真の計算は必要なところにだけ絞る仕組み。これにより、コストを抑えつつ全体を見渡せる。論文タイトルにもある「無限の文脈モデリング」に向けた大きな一歩だ。
▸こんな人・用途に
長文ドキュメントの検索、QA、要約といった長文脈モデリング・推論用途。ネイティブスパースアテンション学習や長文外挿の研究目的にも最適。
◆入手方法・リンク
Hugging Faceで公開中。ただし標準のtransformers AutoModel APIでは読み込めないため、GitHubリポジトリ（https://github.com/Tencent-Hunyuan/HiLS-Attention）から環境構築とカスタム登録が必要。長文サービングにはSGLangの活用も示唆されている。
SOURCE: Tencent (2026-07-09)
