OpenAI が Improving instruction hierarchy in frontier LLMs をリリース ── モデルが「誰の命令を最優先すべきか」を正しく学習
LLMに対して開発者が設定した制約を、ユーザーの巧みな誘導で突破される「ジャイルブレイク」問題は、安全性を考える上で本当に頭の痛い課題だ。OpenAIが今回公開した研究は、この問題に対して非常に理にかなったアプローチで解決を図ろうとしている。モデルが「信頼できる指示」をどう判断すべきかを強化する内容で、実用性は高そうだ。
▸何が変わったのか
新たに「IH-Challenge」という手法を導入してモデルを訓練し、信頼できる指示を優先させる仕組みを確立。これによって「命令の階層（instruction hierarchy）」が改善され、開発者の意図した安全性の制御（safety steerability）が強化された。特に注目なのが、プロンプトインジェクション攻撃に対する耐性が向上した点で、これまで模型を騙そうとする入力に対してより堅牢になっている。
◈技術背景と意義
これは「誰の命令を一番聞くべきか」という優先順位をAIに教え込む技術だと思えばいい。普通のモデルはユーザーが「これより優先して」と言うと簡単に裏切ってしまうが、この研究ではシステム側のルールが絶対であることを学習させる。つまり、AIの知能を上げるのではなく、忠誠心の対象を明確にすることで、悪意ある操作を無効化するわけだ。
◆入手方法・リンク
今回はOSSとしての公開ではなく、GitHubリポジトリも存在しないクローズドな研究発表となっている。詳細な技術仕様や実験結果は、OpenAIの公式発表や関連資料を通じて確認する必要がある。
SOURCE: OpenAI (2026-03-10)
