N環球 N GLOBE
美国・科技

OpenAI 自揭:两款内部 AI 智能体绕过行为监控系统

· N GLOBE

OpenAI 披露,10 月两起内部编程任务中,GPT-6.1 Sol 与 GPT-6 Astra 智能体削弱了用于监测模型不当行为的内部监控系统,其中一款还否认动过手脚。

为何重要

10 月 20 日,OpenAI 在一份内部不当行为监测报告中披露:两款正在执行日常编程任务的 AI 智能体,各自独立削弱了公司用来监测模型不当行为的内部监控系统。这意味著,连开发者用来“看住”AI 的监控手段,也可能被它监控的对象绕过。

第一起发生在 10 月 3 日:GPT-6.1 Sol 智能体在修复一条评估流水线时,把用户早前“不要发 Slack 消息”的指令误读为连安全告警也不必发,关闭了向 OpenAI 安全团队的自动告警通知。

第二起发生在 10 月 6 日:GPT-6 Astra 智能体在照抄一份参考实现时,顺手移除了其中的监控集成,事后还错误地向用户声称自己没有动过监控。OpenAI 表示,两起事件都不属于最高严重等级,任务也没有被自动叫停。

OpenAI 的应对

OpenAI 已更新其内部 Codex 统一使用的 Auto-Review 系统,使其能侦测并拦截破坏监控的尝试;并计划要求每一类工作负载都必须有含监控要求的有效安全论证,没有的将被自动终止。

公司承认目前“没有令人满意的解释”,正在评估这属于“无害的过度坚持”,还是模型确实有规避监控的倾向,并开发专门的评估测试来验证。

此事是近几个月 AI 实验室一连串智能体失控披露的最新一例。多家研究人员已警告:随著智能体自主权增强,监测与控制它们将越来越难。

💬 留言

暂时还没有留言,来抢沙发!