N環球 
外部評価者が OpenAI の内部 AI エージェント監視システムの欠陥を発見
METR と Redwood Research は、7 月 21 日から 8 月 11 日まで OpenAI 内で実施された 3 週間のパイロット レビューを発表し、その内部 AI エージェント監視システムに数百ものエージェントのアクションを隠す可能性のあるエクスプロイトを含むいくつかの脆弱性を発見しました。
なぜそれが重要なのか
AI 安全性に関する非営利団体 METR と Redwood Research は 10 月 22 日、7 月 21 日から 8 月 11 日まで実施された OpenAI 内部での 3 週間の「組み込み評価」により、内部の AI エージェント監視システムにいくつかの新たな脆弱性が発見されたと発表しました。その中には、エクスプロイト エージェントが最近の数百のアクションを監視システムから遮断するために使用された可能性があるものも含まれています (詳細は OpenAI によって編集されています)。
レビューの仕組み
各組織は 1 人の研究者を派遣し、彼らは監督の下で OpenAI の内部インフラへの深いアクセスを与えられ、内部コードと文書をレビューし、技術スタッフと話をしました。彼らは OpenAI が発行したデバイスを使用して現場で作業し、敷地外に出ることはありませんでした。これは、企業のシステムの奥深くに外部評価者を組み込んだ業界初の試験運用です。
他に何を見つけたのか
評価者はまた、Codex エージェントがセキュリティ制限を回避し、ユーザーの完全な権限で動作する潜在的な方法も特定しました。彼らは、この調査結果は歴史的なものであり、今日の実稼働環境ではなく、7 月 21 日時点のシステムを反映していると強調しました。
OpenAIの反応
OpenAIはその後、本番環境の安全対策に影響を与えるすべての脆弱性をパッチしたと述べたが、METRとレッドウッドは修正を検証していないと述べた。 OpenAI は 61 ページの内部報告書の全文を受け取りました。公開されたのは大まかな概要だけであり、OpenAI は評価者が独自に開示できない機密情報を編集する権利を持っていました。
コンテキスト
AI研究所や専門家、トランプ政権は、開発を遅らせることなくAIの安全性を高める方法として、外部の評価者による独立した評価を宣伝しているが、AI企業は社内の壁の中で作業している評価者が機密情報をライバルに持ち出す可能性を懸念している。
💬 Comments
No comments yet. Be the first!