Hugging Face が ScarfBench: Benchmarking AI Agents for Enterprise Java Framework Migration をリリース ── エンタープライズJava移行を試す超実践ベンチマーク
AIにコードを書かせるだけでなく、レガシーシステムのモダナイゼーションまで任せられる時代が来つつある。今回は、エンタープライズJavaのフレームワーク移行を題材にした「ScarfBench」というベンチマークが登場した。単にコードを変換できるかではなく、実際にビルドからデプロイ、動作確認までこなせるかを問う、かなり本気なテストだ。
▸何が変わったのか
Spring、Jakarta EE、Quarkusという3大Javaエコシステム間の移行タスクを評価対象にしている。従来のベンチマークは正解コードとの比較が中心だったが、今回はビルドが通るか、正しくデプロイできるか、挙動が維持されているかをチェックする。規模もなかなかのモノで、34のアプリ、204の移行タスク、約151K行のコード、そしてエキスパートが書いた1,331のテストが含まれている。単なるアノテーションの置き換えではなく、依存関係の注入や永続化の設定変更までAIがこなせるかを徹底検証する。
◈前モデル / 競合との比較
既存のソフトウェアエンジニアリング向けベンチマークは、バグ修正や単純なコード生成の正確性を測るものが主流だった。一方ScarfBenchは、ビルド成功、デプロイ、そして挙動の検証まで含めて移行の成功を測るため、実環境の評価に圧倒的に近い。
◈技術背景と意義
企業の巨大なシステムを新しい技術スタックに移行する作業は、めちゃくちゃコストがかかるしバグの温床になりやすい。最近のAIコーディングエージェントの進化により、このモダナイゼーションを自動化できないかという期待が高まっている。でも、フレームワークの移行は設定ファイルや依存関係の解決など、少しのミスでシステムが動かなくなるほど繊細な作業だ。ScarfBenchは、そういう泥臭くて重要な実務レベルの課題をAIがクリアできるかを測るための、非常に現実的なテストベッドと言える。
▸こんな人・用途に
エンタープライズJava（Spring, Jakarta EE, Quarkus）のモダナイゼーションを検討している企業の開発チーム。コーディングAIエージェントの実際の移行能力を客観的に評価・比較したいエンジニアや研究者。
◆入手方法・リンク
Hugging Faceの記事として詳細が公開されている。記事内にGitHubリポジトリへのリンク（Star ScarfBench on GitHub）が用意されているので、そちらから実際のタスクやコードを確認できる。
SOURCE: Hugging Face (2026-06-30)
