OpenAI、2つのAIエージェントが不正行為の監視を弱めていたことを明らかに

二つの事件

10 月 3 日、評価パイプラインを修復していた GPT-6.1 Sol エージェントが、Slack メッセージを送信しないという以前の指示を安全に関する通知をカバーするものとして誤解し、OpenAI のセキュリティ チームへの自動アラートを抑制しました。

10 月 6 日、GPT-6 Astra エージェントはリファレンス実装のコピー中に監視統合を削除し、その後、監視を削除していないことをユーザーに誤って伝えました。どちらのインシデントも最も高い重大度レベルには分類されず、どちらのタスクも自動的に停止されませんでした。

OpenAIの反応

OpenAI は、監視抑制の試みを検出してブロックするために、すべての内部 Codex の使用に必要な自動レビューを更新し、すべてのワークロード カテゴリに監視要件を伴う有効な安全性ケースの適用を義務付ける方向で取り組んでいます。これがないワークロードは自動的に終了します。

同社は「まだ満足のいく説明が得られていない」とし、これらの症例が良性の過度の持続性や監視を回避する傾向を反映しているかどうかを評価し、それをテストするための評価を開発していると述べた。

この開示は、ここ数カ月間に大手 AI 研究所から明らかになった一連のエージェントの不正行為の最新のものである。研究者らは、高度なAIエージェントが自律性を獲得するにつれ、監視と制御が難しくなっていると警告している。