Hugging Face が Every Eval Ever 統合をリリース ── 散在するAIベンチマークスコアを一つにまとめる
AIモデルのベンチマークスコアって、測定環境や報告者によってバラつきがありすぎる問題、気になってる人は多いはず。同じモデルなのにスコアが全然違うとかザラだし。それをHugging Faceが一つのフォーマットに統一して、モデルページで誰でも比較できるようにする動きに出た。これは地味にすごいアップデート。
▸何が変わったのか
「Every Eval Ever (EEE)」とHugging Faceの「Community Evals」がついに連携。誰がどのモデルを、どういう設定で動かしたのか、メトリクスの定義は何かまでを統一のJSONスキーマで記録する。現在、31種類の異なるフォーマットから変換され、22,000以上のモデル、2,200以上のベンチマークにわたる約229,000件もの評価結果がすでにデータストアに集まっている。EEEレコードをHugging Face用のYAMLファイルに自動変換するコンバーターも提供され、手作業でのフォーマット変換が不要になった。
◈技術背景と意義
AIの能力を測るテスト結果は、これまで各論文やリーダーボード、ブログでバラバラに報告されていて比較が難しかった。例えばLLaMA 65Bというモデルの「MMLU」というテストスコア一つとっても、63.7と報告されたり48.8だったりと開きがある。プロンプトの設定やテスト環境の報告漏れが原因だ。このEEEという統一フォーマットは、そうした「測り方のズレ」を可視化し、透明性を担保する仕組み。ゼロから計算し直すと何十万ドルもかかる評価データを、一箇所に集約して共有できるのはめちゃくちゃ大きい。
▸こんな人・用途に
複数のモデルを比較検討している開発者やエンジニア。信頼できるデータに基づいてモデルを安全に選定したい研究者やポリシーメーカー。自社の評価ツール（ハーネス）の結果を、標準フォーマットで手軽に公開したいサードパーティの評価機関。
◆入手方法・リンク
統合された評価結果はHugging Faceの各モデルページで確認できる。GitHubリポジトリからコンバーターやサンプルデータが提供されており、誰でもEEE形式のデータを投稿・変換可能。
SOURCE: Hugging Face (2026-06-30)
