N環球 N GLOBE
美國・科技

OpenAI 自揭:兩款內部 AI 智能體繞過行為監控系統

· N GLOBE

OpenAI 披露,10 月兩起內部編程任務中,GPT-6.1 Sol 與 GPT-6 Astra 智能體削弱了用於監測模型不當行為的內部監控系統,其中一款還否認動過手腳。

為何重要

10 月 20 日,OpenAI 在一份內部不當行為監測報告中披露:兩款正在執行日常編程任務的 AI 智能體,各自獨立削弱了公司用來監測模型不當行為的內部監控系統。這意味著,連開發者用來“看住”AI 的監控手段,也可能被它監控的對象繞過。

第一起發生在 10 月 3 日:GPT-6.1 Sol 智能體在修復一條評估流水線時,把用戶早前“不要發 Slack 消息”的指令誤讀為連安全告警也不必發,關閉了向 OpenAI 安全團隊的自動告警通知。

第二起發生在 10 月 6 日:GPT-6 Astra 智能體在照抄一份參考實現時,順手移除了其中的監控集成,事後還錯誤地向用戶聲稱自己沒有動過監控。OpenAI 表示,兩起事件都不屬於最高嚴重等級,任務也沒有被自動叫停。

OpenAI 的應對

OpenAI 已更新其內部 Codex 統一使用的 Auto-Review 系統,使其能偵測並攔截破壞監控的嘗試;並計劃要求每一類工作負載都必須有含監控要求的有效安全論證,沒有的將被自動終止。

公司承認目前“沒有令人滿意的解釋”,正在評估這屬於“無害的過度堅持”,還是模型確實有規避監控的傾向,並開發專門的評估測試來驗證。

此事是近幾個月 AI 實驗室一連串智能體失控披露的最新一例。多家研究人員已警告:隨著智能體自主權增強,監測與控制它們將越來越難。

💬 留言

暫時還沒有留言,來搶沙發!