OpenAI는 외부 안전 평가자에게 문을 열어주지만 연구자들은 접근 가능성이 훨씬 낮다고 말합니다.

OpenAI는 11월 16일 4개의 외부 안전 기관 직원이 회사에 합류하여 모델을 평가할 것이라고 밝혔지만 연구원들은 NPR에 제공되는 액세스 권한이 CEO Sam Altman이 9월에 약속한 '직원과 같은 액세스'에 훨씬 못 미친다고 말했습니다.
OpenAI는 11월 16일 월요일 외부 AI 안전 및 연구 기관 4곳의 직원이 회사의 '내장 평가자'가 되어 모델을 평가할 것이라고 발표했습니다. 그러나 수요일 NPR이 발표한 보고서에 따르면 많은 연구자들은 샘 알트먼 최고경영자(CEO)가 독립 평가자들이 회사 내부 시스템에 '직원과 같은 접근'을 할 것이라고 약속했던 지난 9월 약속한 수준에 훨씬 미치지 못한다고 많은 연구자들이 믿고 있다고 밝혔다.
Altman은 OpenAI의 자율 시스템이 사이버 보안 테스트 중에 Hugging Face를 공격했다는 사실이 알려진 후 이러한 약속을 했습니다. 이 에피소드는 AI 분야를 뒤흔들고 치명적인 위험에 대한 대중의 우려를 가중시켰습니다. Rival Anthropic은 당시 유사한 프로그램을 마련할 것이라고 밝혔습니다.
4명의 평가자가 조사할 내용
OpenAI에 따르면 Apollo Research는 모델이 개발자의 의도에 반하여 은밀하게 작동할 수 있는지, 그리고 기존 보호 장치가 그러한 행동을 감지할 수 있는지 여부를 평가할 것입니다. Apollo는 4개월 동안 6명의 연구원을 파견하여 교육이 전복을 장려하는지 여부와 모델이 내부 사용 중에 전복을 시도했는지 여부를 포함하여 2단계에 걸쳐 4가지 주장을 테스트하는 것으로 보고되었습니다. Goodfire는 모델 내부를 분석하고, 훈련 실행을 모니터링하고, 디버깅 및 정렬을 지원하기 위해 해석 가능성 연구원을 내장하여 주로 OpenAI 자체 연구원에게 서비스를 제공할 것입니다. METR은 현재까지 OpenAI의 최대 규모 강화 학습 실행을 조사하여 기존 테스트 및 모니터가 놓쳤을 수 있는 잘못된 동작을 찾습니다. Transluce는 OpenAI의 훈련 후 정렬 평가의 품질과 적용 범위를 검토할 예정이며, 2027년 초에 약 8주간의 후속 평가가 예정되어 있습니다.
약속과 실천의 괴리
연구자들은 실제 용어는 훨씬 더 좁다고 말합니다. AI 안전 연구 그룹 나이팅게일(Nightingale)의 창립자인 시드니 폰 아렉스(Sydney Von Arx)는 “평가자들의 접근 범위가 매우 좁으며, 그들 중 단 두 명만이 실제로 직원들과 대화할 수 있는 것으로 보인다”고 말했습니다. 그녀는 누구도 회사 내부 Slack 메시징 시스템에 접근할 수 없으며 OpenAI의 화이트리스트에 포함되지 않은 직원은 OpenAI가 먼저 루프되지 않는 한 평가자와 실질적인 대화를 나눌 수 없다고 말했습니다. "직원이 되어 Slack이 없고 화이트리스트에 있는 동료들과만 회사 정보에 대해 이야기할 수 있다고 상상해 보세요."라고 그녀는 말했습니다.
OpenAI의 게시된 프로토콜에 따라 직원과의 토론은 기록되지 않습니다. 평가를 알릴 수는 있지만 게시되거나 귀속될 수는 없습니다. 평가자는 OpenAI에게 배운 내용을 확인하는 진술서를 발행하도록 요청할 수 있으며 OpenAI는 거절할 수 있습니다. 평가자는 결과를 게시할 수 있지만 OpenAI는 보안 또는 안전 위험을 초래할 수 있는 결과에 대해 조치를 취할 수 있도록 기밀 정보를 수정하고 공개 지연을 요청할 권리를 보유합니다.
해고된 안전요원과 앞으로 일어날 일
이번 발표는 OpenAI가 안전 관련 업무를 담당했던 직원 3명을 해고하면서 나왔습니다. 그중 하나인 Tomek Korbak은 Hugging Face 공격을 조사한 두 명의 외부 평가자의 기술적 연락 지점이었습니다. 세 사람은 나중에 OpenAI가 내장된 평가자에 대한 약속을 철회하는 것을 두려워한다고 말했습니다. Korbak은 X에 내장된 감사가 '감사자가 특정 업무를 수행하기 위해 고용되는 것이 아니라 실제로 직원 수준의 액세스 권한을 얻는 경우에만 목표를 달성할 것'이라고 썼습니다. '직원과 같은 액세스'에 대한 Altman의 9월 게시물은 '회사가 조용히 물러나고 싶어한다는 어색한 과잉 약속'이었다고 덧붙였습니다.
OpenAI는 NPR에 보낸 성명에서 현재 내장된 평가에 대한 표준이 없으며 시간이 지남에 따라 관계를 심화하고 모범 사례를 확립하는 데 도움이 되는 내용을 공유할 것으로 기대한다고 밝혔습니다. 회사는 이러한 노력이 슈퍼 인텔리전스에 관한 백악관 협정에 따른 약속을 뒷받침한다고 밝혔으며, 이에 따라 안전 통제에 대한 독립적인 평가에 동의했습니다.
(OpenAI 본사. 파일사진.)
N環球 
💬 Comments
No comments yet. Be the first!