Внешние оценщики обнаруживают недостатки во внутренней системе мониторинга агентов искусственного интеллекта OpenAI

Как проходил обзор

Каждая организация направила одного исследователя, которому был предоставлен глубокий доступ к внутренней инфраструктуре OpenAI под наблюдением — он просматривал внутренний код и документацию и общался с техническим персоналом. Они работали на месте, используя устройства OpenAI, которые никогда не покидали помещения. Это первый в отрасли пилотный проект, в котором сторонние оценщики внедрили эту систему глубоко в системы компании.

Что еще они нашли

Оценщики также выявили потенциальный способ для агентов Кодекса обойти ограничения безопасности и действовать с полными разрешениями своих пользователей. Они подчеркнули, что выводы носят исторический характер — они отражают систему по состоянию на 21 июля, а не сегодняшнюю производственную среду.

Ответ OpenAI

OpenAI заявила, что с тех пор исправила все уязвимости, влияющие на ее производственную безопасность, хотя METR и Redwood заявили, что не проверяли исправления. OpenAI получила полный внутренний отчет на 61 странице; было опубликовано только общее резюме, и OpenAI имела право редактировать конфиденциальную информацию, которую оценщики не могли раскрыть независимо.

Контекст

Лаборатории искусственного интеллекта, эксперты и администрация Трампа рекламируют независимую оценку, проводимую сторонними рецензентами, как способ повысить безопасность искусственного интеллекта, не замедляя разработку, хотя компании, занимающиеся искусственным интеллектом, опасаются, что оценщики, работающие внутри их стен, могут передать конфиденциальную информацию конкурентам.