Tencent が Hy4-preview を公開 ── 770BパラメータのMoEと1Mコンテキスト

TencentのHy Teamから届いたこのスペック表、正直かなり見応えがある。総パラメータ770Bのうち1トークンあたり49Bだけ活性化させるMoE構成に加え、1Mトークンという長文コンテキストに対応している点は、オープンソース領域で現在トップクラスの規模感を示している。

▸何が変わったのか

今回のHy4-previewの最大の特徴は、バックボーンの78層中、最初の1層のみを標準のDense FFNとし、残り77層をMoEに置き換えた点だ。各層には256個のルーテッドエキスパートと1個の共有エキスパートが搭載され、トークンごとにトップ8のエキスパートと共有エキスパートが活性化される。注意機構では、DeepSeekやGLMからインスピレーションを受けた「Gated DSA（Gated DeepSeek Sparse Attention）」と「IndexCache」を採用し、層間でのスパースインデックスの再利用を実現している。さらに、投機的デコード用のネイティブMTP層（総10B、活性化0.7B）も組み込まれている。

◈前モデル / 競合との比較

提供テキストには具体的なベンチマーク数値や競合モデルとの直接比較データは記載されていないが、Tencent側は「オープンソースのフロンティア（最先端）」に位置すると主張している。前モデルとの比較では、モデルサイズ、コンテキスト長、訓練データの三方向でスケールアップし、世代間の能力向上の幅が過去最大だったと説明されている。

◈技術背景と意義

MoEモデルは、モデル全体のパラメータ数は巨大だが、実際に計算に使う（活性化される）パラメータは少ないため、推論コストを抑えつつ高性能を維持できる仕組みだ。Hy4-previewは、770Bという巨大な「知識の蓄積」を持ちながら、1トークンあたり49Bという比較的小さな計算量で動作させることで、実用的な効率性を実現している。Gated DSAは、コンテキストが長い場合に計算が爆発的に増える問題に対して、必要な部分だけを選択的に計算する最適化技術だ。

▸こんな人・用途に

ソフトウェアエンジニアリングにおける長期的な開発タスクの理解・計画・デバッグ・検証。Tencentの内部専門家（ゲーム開発者、財務アナリスト、セキュリティ専門家など）の実務データを用いて訓練されており、これらの分野の生産性向上に特化している。

▸Hacker Newsの反応

正直、反応は静まり返っていて驚いた。期待値が高かった分、コメント欄は薄めで「安くていいね」くらいの淡々とした声しかない。盛り上がりというより、既存ユーザーの安堵感に近い雰囲気だ。

◆入手方法・リンク

Hugging Face、ModelScope、Cnb.cool、GitCode等のプラットフォームでモデルウェイトが公開されている。vLLMやSGLangによるデプロイ、およびファインチューニングや量子化への対応情報が提供されている。

▸Redditの反応

OpenRouterでの爆発的なトークン消費量を前に、既存モデルの速度問題やブログ記事のグラフ不整合に言及する冷静な技術者視点の意見が中心。

SOURCE: Tencent (2026-08-27)

← LLM Watch トップへ