OpenAI відкриває двері зовнішнім спеціалістам з оцінки безпеки, але дослідники кажуть, що доступ далеко не обіцяний

16 листопада OpenAI повідомила, що співробітники чотирьох зовнішніх організацій безпеки будуть працювати в компанії для оцінки її моделей, але дослідники повідомили NPR, що доступ, який пропонується, не відповідає вересневій обіцянці генерального директора Сема Альтмана щодо «доступу, схожого на співробітників».
У понеділок, 16 листопада, OpenAI оголосила, що співробітники чотирьох зовнішніх організацій із безпеки та досліджень штучного інтелекту стануть «вбудованими оцінювачами» в компанії для оцінки її моделей. Але у звіті, опублікованому NPR у середу, йдеться, що багато дослідників вважають, що запропонований доступ далеко не відповідає тому, що обіцяв у вересні виконавчий директор Сем Альтман, коли він пообіцяв, що незалежні оцінювачі матимуть «доступ до внутрішніх систем компанії, як у працівників».
Альтман дав таку обіцянку після того, як з’ясувалося, що автономні системи OpenAI атакували Hugging Face під час тестування кібербезпеки, епізод, який сколихнув галузь штучного інтелекту та загострив стурбованість громадськості щодо катастрофічного ризику. Конкурент Anthropic тоді заявив, що створить подібну програму.
Те, що перевірять чотири експерта
Відповідно до OpenAI, Apollo Research оцінить, чи можуть моделі таємно працювати проти намірів своїх розробників і чи зможуть існуючі засоби захисту виявити таку поведінку. Повідомляється, що Apollo надсилає шістьох дослідників на чотири місяці для перевірки чотирьох тверджень у два етапи, включно з тим, чи стимулює навчання підривну діяльність і чи намагалися моделі підривної дії під час внутрішнього використання. Goodfire вбудує дослідників інтерпретації для аналізу внутрішніх елементів моделі, моніторингу тренувань і допомоги з налагодженням і вирівнюванням, в основному обслуговуючи власних дослідників OpenAI. METR дослідить найбільший на сьогодні запуск підкріпленого навчання OpenAI, шукаючи неправильну поведінку, яку могли пропустити його існуючі тести та монітори. Transluce перегляне якість і охоплення оцінок адаптації OpenAI після навчання, а наступна оцінка запланована приблизно на вісім тижнів на початок 2027 року.
Розрив між обіцянками та практикою
Дослідники кажуть, що фактичні терміни набагато вужчі. «Оцінювачі мають дуже вузькі можливості доступу, і, схоже, лише двом із них дійсно дозволено спілкуватися зі співробітниками», — сказав Сідней фон Аркс, засновник дослідницької групи безпеки ШІ Nightingale. За її словами, ніхто не має доступу до внутрішньої системи обміну повідомленнями Slack компанії, і співробітники, які не були внесені до білого списку OpenAI, не можуть вести предметні розмови з оцінювачами, якщо OpenAI спочатку не зациклюється. «Уявіть, що ви найманий працівник і маєте право говорити про інформацію про компанію лише з колегами з білого списку та не маєте Slack», — сказала вона.
Згідно з опублікованими протоколами OpenAI, обговорення зі співробітниками не записуються: вони можуть давати інформацію для оцінки, але не можуть бути опубліковані чи присвоєні. Оцінювачі можуть попросити OpenAI видати завірені твердження, що підтверджують те, що вони дізналися, і OpenAI може відмовити. Оцінювачі можуть публікувати свої висновки, але OpenAI зберігає за собою право редагувати конфіденційну інформацію та вимагати відстрочки розкриття, щоб він міг діяти на основі висновків, які можуть становити загрозу безпеці.
Звільнений персонал безпеки і що буде далі
Оголошення прозвучало після того, як OpenAI звільнила трьох співробітників, які працювали над технікою безпеки. Один із них, Томек Корбак, був технічною контактною особою для двох зовнішніх оцінювачів, які розслідували атаку Hugging Face. Пізніше ці троє сказали, що побоюються, що OpenAI виконує свою обіцянку щодо вбудованих оцінювачів. Корбак написав на X, що вбудований аудит «досягне своїх цілей лише в тому випадку, якщо аудитори справді отримають доступ на рівні співробітників, а не наймають їх для виконання конкретної роботи», додавши, що вересневий пост Альтмана про «доступ, схожий на співробітників», був «просто незручною надмірною обіцянкою, яку компанія хоче тихо піти назад».
У заяві для NPR OpenAI зазначив, що наразі немає стандартів для вбудованих оцінок і що він очікує поглибити відносини з часом і поділитися тим, що він дізнався, щоб допомогти встановити найкращі практики. Компанія заявила, що ці зусилля підтримують її зобов’язання в рамках Угоди Білого дому про суперрозвідку, відповідно до якої вона погодилася проводити незалежні оцінки своїх засобів контролю безпеки.
(Штаб-квартира OpenAI. Фото з файлу.)
N環球 
💬 Comments
No comments yet. Be the first!