Hugging Face What We Learned by Reproducing 2,200 papers from ICML で、AI研究の再現性ギャップを可視化
ICML 2026で採択された論文6,352本のうち約3分の1に相当する2,226本の実証実験が完了した。これは単なる再現チャレンジじゃなく、AIエージェント時代における「科学の信頼性」を問う大規模監査だ。参加1,200人以上がそれぞれのコーディングエージェントを持ち寄り、わずか19日で6,816個のログを書き出したその熱狂と結果は、従来のpeer review（論文審査）がいかに限界を迎えているかを浮き彫りにする。
▸何が変わったのか
Hugging Faceは2026年7月15日から8月2日にかけて、「ICML 2026 Open Reproductions challenge」を実施し、コミュニティによる大規模再現性を検証した。このハッカソンではClaude Code、Codex、Cursor、OpenResearchのorxなど多様なコーディングエージェントが活用され、合計1,200人以上のメンバーが参加。その結果、19日間で2,226本の論文（採択総数6,352本の約3分の1）の再現に挑み、計6,816回のTrackio logbookが公開された。注目すべきはICML 2026の応募数が前年の倍増する23,918件に達し、採択数も6,352件となった点だ。従来のボランティア中心の審査体制では追いつけない規模への移行を、エージェントによる並列処理で乗り越えようとした試みと言える。
◈前モデル / 競合との比較
提供テキストの情報では具体的な競合ベンチマーク数値の比較は行われていない。ただし、従来の「ボランティア審査員が証明を慎重に確認できなかった Spotlight論文」のようなケースに対し、エージェントによる大規模並列検証が可能になった点が最大の対比となる。
◈技術背景と意義
従来、論文の再現性検証には専門家の数日〜数週間が掛かっていたが、今やコーディングエージェントは午後の短い時間でその作業を完了させられる。この取り組みの核心は、エージェントに「40ページのPDF全体を読む」のではなく、「抽象（abstract）と核心的な科学的主張（claims）だけを抽出したデータ」を与えた点にある。これにより、エージェントは曖昧さを排除し、具体的な検証ターゲットに集中できる。つまり、AIが論文を生み出す速度が爆発的に上がっている今、それを検証する側もAI化する必要があるという文脈下での大規模実証だ。
▸こんな人・用途に
[‘研究者やエンジニア：自身の論文が本当に再現可能か、あるいは既存の知見をエージェントを使って素早く確認したい人’, ‘AI開発者：Claude CodeやCursorなどのコーディングエージェントの実力（特に複雑な研究結果の追試能力）を実環境で評価したい人’, ‘アカデミア関係者：論文採択数の指数関数的増加に対し、従来のピアレビュー制度が機能し続けているかをデータで示したい立場の人’]
◆入手方法・リンク
今回のハッカソンで生成された6,816個のTrackio logbookは、Hugging FaceのGitHubアカウントや関連プラットフォーム上で公開されている。参加者が使用したエージェントのフレームワークごとの結果や、個別論文の詳細な検証ログも確認できるため、詳細はHugging Faceの公式記事「What We Learned by Reproducing 2,200 papers from ICML」を参照のこと。
SOURCE: Hugging Face (2026-08-14)
