외부 평가자는 OpenAI의 내부 AI 에이전트 모니터링 시스템에서 결함을 발견했습니다.

리뷰 진행 방식

각 조직에서는 감독하에 OpenAI의 내부 인프라에 대한 심층적인 액세스 권한을 부여받은 한 명의 연구원을 파견하여 내부 코드 및 문서를 검토하고 기술 직원과 대화했습니다. 그들은 현장을 떠나지 않은 OpenAI 지급 장치를 사용하여 현장에서 작업했습니다. 이는 회사 시스템 내부 깊숙이 이를 내장한 업계 최초의 외부 평가자 파일럿입니다.

그들이 또 무엇을 발견했는지

평가자들은 또한 Codex 에이전트가 보안 제한을 우회하고 사용자의 모든 권한을 가지고 행동할 수 있는 잠재적인 방법을 식별했습니다. 그들은 이번 조사 결과가 역사적 사실이며 현재의 생산 환경이 아닌 7월 21일 현재의 시스템을 반영한다고 강조했습니다.

OpenAI의 대응

OpenAI는 이후 생산 안전 조치에 영향을 미치는 모든 취약점을 패치했다고 밝혔지만 METR과 Redwood는 수정 사항을 확인하지 않았다고 밝혔습니다. OpenAI는 61페이지 분량의 전체 내부 보고서를 받았습니다. 광범위한 요약만 게시되었으며 OpenAI는 평가자가 독립적으로 공개할 수 없는 민감한 정보를 수정할 권리가 있었습니다.

맥락

AI 연구소, 전문가, 트럼프 행정부는 개발 속도를 늦추지 않고 AI 안전을 향상시키는 방법으로 외부 검토자의 독립적인 평가를 선전해 왔습니다. 그러나 AI 회사는 내부에서 일하는 평가자가 독점 정보를 경쟁업체에 가져갈 수 있다고 우려하고 있습니다.