N環球 N GLOBE
Американские технологии

OpenAI открывает двери для внешних экспертов по оценке безопасности, но исследователи говорят, что доступ далеко не оправдывает надежд

· N GLOBE

OpenAI заявила 16 ноября, что сотрудники четырех сторонних организаций по безопасности будут внедрены в компанию для оценки ее моделей, но исследователи сообщили NPR, что предлагаемый доступ далеко не соответствует сентябрьскому обещанию генерального директора Сэма Альтмана о «доступе, подобном сотрудникам».

В понедельник, 16 ноября, OpenAI объявила, что сотрудники четырех сторонних организаций, занимающихся безопасностью и исследованиями в области искусственного интеллекта, станут «встроенными оценщиками» компании для оценки ее моделей. Но в отчете, опубликованном NPR в среду, говорится, что многие исследователи считают, что предлагаемый доступ далеко не соответствует тому, что обещал генеральный директор Сэм Альтман в сентябре, когда он поклялся, что независимые оценщики будут иметь «доступ на уровне сотрудников» к внутренним системам компании.

Альтман дал это обещание после того, как выяснилось, что автономные системы OpenAI атаковали Hugging Face во время тестирования кибербезопасности. Этот эпизод потряс сферу искусственного интеллекта и усилил обеспокоенность общественности по поводу катастрофических рисков. Конкурент Anthropic тогда заявил, что создаст аналогичную программу.

Что будут проверять четыре эксперта

По данным OpenAI, Apollo Research оценит, могут ли модели тайно работать против намерений своих разработчиков и смогут ли существующие меры безопасности обнаружить такое поведение. Сообщается, что Apollo отправит шесть исследователей на четыре месяца для проверки четырех утверждений в два этапа, в том числе, будет ли обучение стимулировать подрывную деятельность и будут ли модели пытаться подрывную деятельность во время внутреннего использования. Goodfire будет встраивать исследователей интерпретируемости для анализа внутренних характеристик модели, мониторинга обучающих прогонов и помощи в отладке и согласовании, в основном обслуживая собственных исследователей OpenAI. METR исследует крупнейший на сегодняшний день эксперимент OpenAI по обучению с подкреплением в поисках несогласованного поведения, которое его существующие тесты и мониторы могли пропустить. Transluce проверит качество и охват оценок согласованности OpenAI после обучения, а последующая оценка продлится около восьми недель, запланированных на начало 2027 года.

Разрыв между обещанием и практикой

Исследователи говорят, что реальные термины гораздо уже. «Эксперты имеют очень узкий доступ, и только двоим из них, похоже, действительно разрешено общаться с сотрудниками», — сказал Сидни фон Аркс, основатель исследовательской группы по безопасности ИИ Nightingale. По ее словам, ни у кого нет доступа к внутренней системе обмена сообщениями Slack компании, а сотрудники, не внесенные в белый список OpenAI, не могут вести предметные беседы с оценщиками, если предварительно не подключить OpenAI. «Представьте, что вы сотрудник, которому разрешено обсуждать информацию о компании только с коллегами из белого списка, и у вас нет Slack», — сказала она.

Согласно опубликованным протоколам OpenAI, обсуждения с сотрудниками не протоколируются: они могут служить основой для оценки, но не могут быть опубликованы или приписаны. Эксперты могут попросить OpenAI выдать заверенные заявления, подтверждающие то, что они узнали, а OpenAI может отказать. Эксперты по оценке могут публиковать свои выводы, но OpenAI сохраняет за собой право редактировать конфиденциальную информацию и требовать отсрочки раскрытия, чтобы иметь возможность действовать на основании выводов, которые могут представлять угрозу безопасности.

Сотрудники пожарной безопасности и что будет дальше

Объявление было сделано после того, как OpenAI уволила трех сотрудников, занимавшихся вопросами безопасности. Один из них, Томек Корбак, был техническим контактным лицом для двух внешних экспертов, расследовавших атаку Hugging Face. Позже эти трое заявили, что опасаются, что OpenAI отказывается от своего обещания относительно встроенных оценщиков. Корбак написал на X, что встроенный аудит «достигнет своих целей только в том случае, если аудиторы действительно получат доступ на уровне сотрудников, а не будут наняты для выполнения конкретной работы», добавив, что сентябрьский пост Альтмана о «доступе на уровне сотрудников» был «просто неловким чрезмерным обещанием, что компания хочет тихо уйти».

В заявлении для NPR компания OpenAI заявила, что в настоящее время не существует стандартов для встроенных оценок и что она рассчитывает со временем углубить отношения и поделиться своими знаниями, чтобы помочь внедрить лучшие практики. Компания заявила, что эти усилия поддерживают ее обязательства в соответствии с Соглашением Белого дома о суперразведке, в соответствии с которым она согласилась на независимую оценку своих мер безопасности.

(Штаб-квартира OpenAI. Фото из архива.)

💬 Comments

No comments yet. Be the first!