Hugging Face が Welcome Inkling by Thinking Machines をリリース ── 約1兆パラメータのネイティブマルチモーダルMoE登場
Thinking Machinesによる超巨大マルチモーダルモデル「Inkling」がついにHugging Faceに登場した。パラメータ数は約1兆（1T）で、テキストだけでなく画像と音声を最初からネイティブに理解できる。ついにこの規模のマルチモーダルモデルが公開される時代が来たのかと、単純にワクワクが止まらない。
▸何が変わったのか
何と言っても、約1兆パラメータ（総パラメータ975B、アクティブ41B）という巨大スケールが衝撃的だ。MoE（Mixture of Experts）を採用し、256のエキスパートを擁している。学習データはテキスト、画像、音声、動画を含む45兆トークン。コンテキストウィンドウは最大1Mに達する。注目すべきは、RoPEの代わりにRelative Attentionを採用し、グローバルアテンションとスライディングウィンドウを5:1の割合で交互に重ねるHybrid Attentionを取り入れた点だ。さらに、隠れ状態に対してSConv（Short convolution）という独自の短い1D畳み込みも導入している。
◈技術背景と意義
パラメータが1兆を超えるような巨大モデルになると、どうしても計算コストがネックになる。だがInklingはMoEアーキテクチャを採用しており、推論時には常に41Bのパラメータだけを賢く動かす仕組みだ。位置情報の扱いやアテンションの計算方法にも最新の工夫が凝らされており、長文脈でも計算効率を維持できるよう設計されている。画像や音声、テキストといった異なる種類のデータをまたぐ推論を、よりシームレスに高速処理したいニーズにバッチリ応えるアーキテクチャと言える。
▸こんな人・用途に
テキスト、画像、音声を組み合わせた高度なマルチモーダル推論が必要な次世代AIアプリの開発。エージェント機能を活かした複雑なタスクの自動化。ファインチューニングによる専門領域へのドメイン適応。
◆入手方法・リンク
Hugging Faceで公開されており、Day-0サポートとしてtransformers、SGLang、llama.cppですぐに利用できる。BF16とNVFP4のバリアント、そしてより高速な推論を支える投機的MTPレイヤーも用意されている。
SOURCE: Hugging Face (2026-07-15)
