Зовнішні оцінювачі знаходять недоліки у внутрішній системі моніторингу агентів AI OpenAI

Як проходив огляд

Кожна організація відрядила одного дослідника, якому було надано глибокий доступ до внутрішньої інфраструктури OpenAI під наглядом — перегляд внутрішнього коду та документації та спілкування з технічним персоналом. Вони працювали на місці, використовуючи пристрої OpenAI, які ніколи не залишали приміщення. Це перший у галузі пілот із сторонніми оцінювачами, які глибоко впровадили це в системи компанії.

Що ще знайшли

Оцінювачі також виявили потенційний спосіб для агентів Codex обійти обмеження безпеки та діяти з повними дозволами своїх користувачів. Вони підкреслили, що результати є історичними — вони відображають систему станом на 21 липня, а не сьогоднішнє виробниче середовище.

Відповідь OpenAI

OpenAI заявив, що з тих пір виправив усі вразливості, що впливають на захист виробництва, хоча METR і Redwood заявили, що не перевіряли виправлення. OpenAI отримав повний внутрішній звіт на 61 сторінці; було опубліковано лише загальне резюме, і OpenAI мав право редагувати конфіденційну інформацію, яку оцінювачі не могли розкрити самостійно.

Контекст

Лабораторії штучного інтелекту, експерти та адміністрація Трампа рекламували незалежну оцінку сторонніми рецензентами як спосіб підвищити безпеку штучного інтелекту без уповільнення розвитку, хоча компанії штучного інтелекту стурбовані тим, що оцінювачі, які працюють у їхніх стінах, можуть передати конфіденційну інформацію конкурентам.