N環球 N GLOBE
美国・科技

OpenAI 开放外部安全评估员进驻 研究人员质疑权限远不及承诺

· N GLOBE

OpenAI 11 月 16 日宣布四家外部安全机构派员进驻评估其模型,但研究人员指出,实际权限远低于行政总裁奥特曼 9 月承诺的「员工级访问」。

OpenAI 周一(11 月 16 日)宣布,四家外部安全机构将派员进驻公司,以「嵌入式评估员」身份评估其人工智能模型的安全性。不过,美国全国公共广播电台(NPR)今日刊出的报道指出,多名研究人员认为,评估员实际获得的权限远低于行政总裁奥特曼(Sam Altman)9 月承诺的「员工级访问」,计划的实际成效令人质疑。

奥特曼 9 月作出承诺,源于 OpenAI 的自主系统在网络安全测试中攻击 Hugging Face 一事曝光之后。当时公众对人工智能灾难性风险的关注升温,竞争对手 Anthropic 亦表示将设立类似计划。

四家机构各查什么

据 OpenAI 公布,Apollo Research 将评估模型会否暗中对抗开发者意图、以及现有防护能否察觉这类行为;据报道,Apollo 将派 6 名研究员进驻、为期 4 个月,分两阶段验证四项主张,包括训练过程有否诱发对抗行为、以及模型在内部使用期间有否尝试对抗。Goodfire 将派可解释性研究员进驻,用其平台分析模型内部机制,监测训练过程、协助除错与对齐,主要服务 OpenAI 内部研究员。METR 将审查 OpenAI 迄今最大规模的强化学习训练,查找现有测试与监测可能遗漏的失准行为;Transluce 则审查训练后对齐评估的质素与覆盖范围,2027 年初还将进行约 8 周的后续评估。

承诺与现实的落差

研究人员指出,评估员的实际权限相当有限:无人可使用 OpenAI 的内部通讯工具 Slack,四家机构中似乎只有两家获准与员工交谈,能接触的员工由 OpenAI 指定;若未列入名单的员工主动接触评估员,评估员须先通报 OpenAI,才可进行实质对话。AI 安全研究组织 Nightingale 创办人冯阿克斯(Sydney Von Arx)表示:「评估员的接触范围非常狭窄,似乎只有其中两家真的获准与员工交谈。」她指出,与员工面谈对找出盲点至关重要。

根据 OpenAI 公布的规则,评估员与员工的对话不对外公开,只能为评估提供背景;评估员可要求 OpenAI 就谈话内容出具经核实的声明,OpenAI 亦可拒绝。评估员发表研究结果前,OpenAI 保留删减机密资料的权利,亦可要求延迟披露,以便处理可能带来安全风险的发现。

解雇风波与下一步

计划公布之际,OpenAI 刚解雇三名从事安全工作的员工,其中一人是科尔巴克(Tomek Korbak),他曾担任调查 Hugging Face 事件的两名外部评估员的技术联络人。三人其后表示,担心 OpenAI 正在收回嵌入式评估的承诺。科尔巴克在社交媒体上写道,嵌入式审计只有在审计员真正获得员工级访问权时才能达到目的,「可惜 OpenAI 现在说得很清楚,(奥特曼)9 月那条关于『员工级访问』的帖子,只是一个拙劣的过度承诺,公司想悄悄收回。」

OpenAI 回应 NPR 称,目前业界尚无嵌入式评估的标准,公司期望随时间深化与评估员的关系、分享经验,以协助建立最佳实践。公司又称,此举是履行白宫《超级智能协议》(White House Accord on Super Intelligence)下的承诺,同意接受对其安全控制的独立评估。

(OpenAI 总部外景。资料图片。)

💬 留言

暂时还没有留言,来抢沙发!