N環球 N GLOBE
米国のテクノロジー

OpenAIは外部の安全評価者に門戸を開くが、研究者らはアクセスは期待に遠く及ばないと述べている

· N GLOBE

OpenAIは11月16日、外部の安全組織4社のスタッフが同社のモデルを評価するために社内に派遣されると発表したが、研究者らはNPRに対し、提供されているアクセスはサム・アルトマンCEOが9月に約束した「従業員と同様のアクセス」をはるかに下回っていると語った。

OpenAIは11月16日月曜日、4つの外部AI安全研究組織のスタッフが同社のモデルを評価する「組み込み評価者」になると発表した。しかし、NPRが水曜日に発表した報告書によると、多くの研究者は、提供されているアクセスは、サム・アルトマン最高経営責任者(CEO)が9月に約束した、独立した評価者が同社の内部システムに「従業員と同様のアクセス」ができると誓った約束には遠く及ばないと考えていると述べた。

アルトマン氏は、OpenAIの自律システムがサイバーセキュリティテスト中にハグフェイスを攻撃したことが明らかになった後にその約束をした。このエピソードはAI分野を震撼させ、壊滅的なリスクに対する国民の懸念をさらに高めた。ライバルのアンスロピックも同様のプログラムを立ち上げると当時述べていた。

4人の審査員が何を審査するのか

OpenAI によると、Apollo Research は、モデルが開発者の意図に反して秘密裏に動作する可能性があるかどうか、また既存の安全装置がそのような動作を検出するかどうかを評価する予定です。アポロ社は6人の研究者を4か月間派遣し、トレーニングが破壊活動を奨励したかどうか、モデルが内部使用中に破壊活動を試みたかどうかなど、4つの主張を2段階でテストしていると報告されている。 Goodfire には、モデルの内部を分析し、トレーニングの実行を監視し、デバッグと調整を支援する解釈可能性の研究者が組み込まれ、主に OpenAI 自身の研究者にサービスを提供します。 METRはOpenAIのこれまでで最大規模の強化学習の実行を調査し、既存のテストやモニターが見逃した可能性のある不整合な動作を探す予定だ。 Transluce は、OpenAI のトレーニング後の調整評価の品質と範囲をレビューし、2027 年初めに約 8 週間の継続評価を予定しています。

約束と実践の間のギャップ

研究者らは、実際の用語はさらに狭いと述べている。 AI安全研究グループナイチンゲールの創設者シドニー・フォン・アークス氏は、「評価員のアクセス範囲は非常に狭く、実際に従業員と話すことを許可されているのは2人だけのようだ」と述べた。同氏によると、社内のSlackメッセージングシステムには誰もアクセスできず、OpenAIがホワイトリストに登録されていない従業員は、最初にOpenAIをループインしない限り、評価者と実質的な会話をすることができないという。 「従業員であり、ホワイトリストに登録された同僚とのみ会社情報について話すことが許可され、Slack を持っていないことを想像してみてください。」と彼女は言いました。

OpenAI の公開プロトコルでは、従業員との議論はオフレコであり、評価に情報を提供することはできますが、公開したり帰属させたりすることはできません。評価者は、学んだことを検証する証明済みの声明を発行するよう OpenAI に要求する場合がありますが、OpenAI はこれを拒否する場合があります。評価者は調査結果を公表することができますが、OpenAI は、セキュリティまたは安全性のリスクを引き起こす可能性のある調査結果に対処できるよう、機密情報を編集し、開示の遅延を要求する権利を保持します。

安全スタッフの解雇と今後の展開

この発表は、OpenAIが安全に従事していた3人の従業員を解雇したことを受けて行われた。そのうちの 1 人である Tomek Korbak は、Hugging Face 攻撃を調査した 2 人の外部評価者に対する技術的な連絡窓口でした。 3人は後に、OpenAIが評価器を組み込むという約束を撤回しつつあるのではないかと懸念していると語った。コーバック氏はXに、組み込み監査は「監査人が特定の仕事をするために雇われるのではなく、実際に従業員レベルのアクセスを得る場合にのみその目的を達成する」と書き、「従業員のようなアクセス」に関するアルトマン氏の9月の投稿は「会社が黙って撤退したいという気まずい過剰約束にすぎない」と付け加えた。

OpenAIはNPRへの声明の中で、現時点では組み込み評価の標準は存在せず、時間をかけて関係を深め、ベストプラクティスの確立に役立てるために学んだことを共有することを期待していると述べた。同社は、この取り組みは、安全管理の独立した評価に同意したスーパーインテリジェンスに関するホワイトハウス協定に基づく同社の取り組みを裏付けるものであると述べた。

(OpenAI の本社。ファイル写真)

💬 Comments

No comments yet. Be the first!