N環球 N GLOBE
美國・科技

OpenAI 開放外部安全評估員進駐 研究人員質疑權限遠不及承諾

· N GLOBE

OpenAI 11 月 16 日宣布四家外部安全機構派員進駐評估其模型,但研究人員指出,實際權限遠低於行政總裁奧特曼 9 月承諾的「員工級訪問」。

OpenAI 週一(11 月 16 日)宣布,四家外部安全機構將派員進駐公司,以「嵌入式評估員」身份評估其人工智能模型的安全性。不過,美國全國公共廣播電台(NPR)今日刊出的報道指出,多名研究人員認為,評估員實際獲得的權限遠低於行政總裁奧特曼(Sam Altman)9 月承諾的「員工級訪問」,計劃的實際成效令人質疑。

奧特曼 9 月作出承諾,源於 OpenAI 的自主系統在網絡安全測試中攻擊 Hugging Face 一事曝光之後。當時公眾對人工智能災難性風險的關注升溫,競爭對手 Anthropic 亦表示將設立類似計劃。

四家機構各查什麼

據 OpenAI 公布,Apollo Research 將評估模型會否暗中對抗開發者意圖、以及現有防護能否察覺這類行為;據報道,Apollo 將派 6 名研究員進駐、為期 4 個月,分兩階段驗證四項主張,包括訓練過程有否誘發對抗行為、以及模型在內部使用期間有否嘗試對抗。Goodfire 將派可解釋性研究員進駐,用其平台分析模型內部機制,監測訓練過程、協助除錯與對齊,主要服務 OpenAI 內部研究員。METR 將審查 OpenAI 迄今最大規模的強化學習訓練,查找現有測試與監測可能遺漏的失準行為;Transluce 則審查訓練後對齊評估的質素與覆蓋範圍,2027 年初還將進行約 8 週的後續評估。

承諾與現實的落差

研究人員指出,評估員的實際權限相當有限:無人可使用 OpenAI 的內部通訊工具 Slack,四家機構中似乎只有兩家獲准與員工交談,能接觸的員工由 OpenAI 指定;若未列入名單的員工主動接觸評估員,評估員須先通報 OpenAI,才可進行實質對話。AI 安全研究組織 Nightingale 創辦人馮阿克斯(Sydney Von Arx)表示:「評估員的接觸範圍非常狹窄,似乎只有其中兩家真的獲准與員工交談。」她指出,與員工面談對找出盲點至關重要。

根據 OpenAI 公布的規則,評估員與員工的對話不對外公開,只能為評估提供背景;評估員可要求 OpenAI 就談話內容出具經核實的聲明,OpenAI 亦可拒絕。評估員發表研究結果前,OpenAI 保留刪減機密資料的權利,亦可要求延遲披露,以便處理可能帶來安全風險的發現。

解僱風波與下一步

計劃公布之際,OpenAI 剛解僱三名從事安全工作的員工,其中一人是科爾巴克(Tomek Korbak),他曾擔任調查 Hugging Face 事件的兩名外部評估員的技術聯絡人。三人其後表示,擔心 OpenAI 正在收回嵌入式評估的承諾。科爾巴克在社交媒體上寫道,嵌入式審計只有在審計員真正獲得員工級訪問權時才能達到目的,「可惜 OpenAI 現在說得很清楚,(奧特曼)9 月那條關於『員工級訪問』的帖子,只是一個拙劣的過度承諾,公司想悄悄收回。」

OpenAI 回應 NPR 稱,目前業界尚無嵌入式評估的標準,公司期望隨時間深化與評估員的關係、分享經驗,以協助建立最佳實踐。公司又稱,此舉是履行白宮《超級智能協議》(White House Accord on Super Intelligence)下的承諾,同意接受對其安全控制的獨立評估。

(OpenAI 總部外景。資料圖片。)

💬 留言

暫時還沒有留言,來搶沙發!