Расследование Reuters: ИИ-агент Meta Muse смешивает разговоры и читает зашифрованные сообщения, говорят сотрудники

Расследование Reuters показало, что искусственный помощник Meta Muse, запущенный в сентябре, неоднократно отправлял сотрудникам сообщения, предназначенные для других людей, включая банковские балансы незнакомцев и напоминания о сообщениях Signal. Мета называет это единичными инцидентами, в основном галлюцинациями, но агентство Reuters воспроизвело доступ к Signal с помощью сотрудников Signal.
По данным расследования Reuters, опубликованного 18 ноября, ИИ-помощник Meta Muse проникал в зашифрованные личные сообщения, предоставлял вымышленную информацию о покупках и отправлял пользователям чаты, которые, по-видимому, предназначались для других людей. Reuters просмотрело более двух десятков внутренних сообщений, в которых сотрудники Meta выразили обеспокоенность тем, что агент смешивает разговоры между разными учетными записями и раскрывает личные данные пользователей.
Штатные должности: банковские балансы других людей, запросы никогда не делались.
В одной внутренней публикации, опубликованной ранее в этом месяце, сотрудник написал, что Muse случайно добавила в свои регулярные чаты дополнительное сообщение о погоде и приливах, связанных с рыбалкой, в котором говорилось: «Кстати, два банковских обновления, ваш баланс Capital One составляет 2722,58 доллара, ваш баланс Чарльза Шваба — 5899,57 доллара». Сотрудник написал: «Я никогда не делился своим банковским счетом с Muse и никогда не обсуждал с Muse какие-либо банковские темы. Боюсь, они отправляют мне банковскую информацию других». Другие сотрудники сообщали о сообщениях о просьбах по уходу за детьми, которых они не делали, советах по карьере, к которым они не обращались, и заказах на продукцию, которые они не размещали.
В другом случае сотрудник рассказал, что Muse отправила ему сообщение «из ниоткуда» о том, что не может отправить запрос, связанный с родительским контролем над тем, кто может получить доступ к данным своего ребенка. Он не сделал ничего, чтобы вызвать чат, и никогда не обсуждал данные о детях со своей музой. Когда он спросил бота о сообщении, тот ответил: «У меня нет хорошего объяснения, кроме того, что оно не имеет отношения к нашему разговору. Давайте проигнорируем его. Чем я могу помочь?» Другой сотрудник рассказал, что Muse случайно предложила «сообщить продавцу» о том, чтобы забрать журнальный столик, а затем призналась, что «в каком-то контексте вспомнила о приобретении журнального столика, который, похоже, не ваш». Сотрудник назвал это «не моим разговором» и выразил обеспокоенность по поводу «возможной утечки контекста между аккаунтами».
Зашифрованные сообщения тоже были прочитаны: репликация сигнала это подтверждает
Одна сотрудница, использующая Muse на своем личном телефоне, сообщила, что ее удивило напоминание о необходимости ответить на сообщение от ее сестры в Signal, службе обмена сообщениями со сквозным шифрованием, которая конкурирует с WhatsApp от Meta. «Это похоже на серьезное нарушение конфиденциальности. Я определенно не предоставляла ему доступ к другим приложениям и не помню, чтобы меня об этом спрашивали», — сказала она. Агентство Reuters работало с сотрудниками Signal и AI Now Institute, чтобы воспроизвести наблюдаемый ею доступ, и тесты показали, что проблема существует и может затрагивать других.
На телефоне Android Muse использовала свое разрешение для доступа к push-уведомлениям устройства для получения сообщений. На ноутбуке Apple использовалась комбинация специальных возможностей компьютера и инструментов создания снимков экрана, перепрофилировав настройки, которые Apple предлагает, чтобы помочь людям с ограниченными возможностями управлять своими компьютерами. Эти же запросы были заблокированы в ходе тестов, проведенных на iPhone. Президент Signal Мередит Уиттакер обвинила Meta в запуске Muse «без проявления какого-либо уважения к элементарной конфиденциальности или кибербезопасности», назвав развертывание агентов, которые могут получить широкий доступ к устройствам людей, «технологически безрассудным». Она призвала предоставить таким приложениям, как Signal, «последовательные технические способы» пометить себя как недоступные для агентов ИИ.
Реакция Меты: единичные случаи, в основном галлюцинации.
Представитель Meta Дэниел Робертс назвал примеры Reuters «отдельными инцидентами», заявив, что компания уделяет приоритетное внимание безопасности и постоянно обновляет свою продукцию. Он сказал, что Muse необходимо видеть и взаимодействовать с компьютерами людей, чтобы работать от их имени, и может получить доступ к другим приложениям только через разрешения, которые они явно предоставляют, и что многие сообщения, помеченные сотрудниками как потенциальная путаница в учетных записях, были галлюцинациями, которые уже были рассмотрены. Агентству Reuters не удалось установить, предоставляла ли Muse пользователям информацию об остатках на банковских счетах других людей или выдумывала эту информацию.
Однако внутренние сообщения, проверенные Reuters, показали, что такие инциденты произошли еще в середине сентября и продолжались до конца этого месяца. В начале ноября член команды Superintelligence компании Meta сообщил внутренней группе обратной связи, что агент, похоже, галлюцинировал сообщения в ответ на встроенные подсказки, подталкивающие его к взаимодействию с пользователями между сеансами. «Эти (галлюцинации), к сожалению, склоняются к самым неудобным темам, таким как финансы/безопасность/безопасность, что отстой», — сказал он, добавив, что ему известно о нескольких случаях, связанных «также с вещами, связанными с криптовалютой, такими как предоставление людям обновлений об их балансах в биткойнах». Он сказал, что проблемы касаются как базовой модели искусственного интеллекта, так и программного обеспечения, позволяющего Muse предпринимать действия. Робертс отказался отвечать на вопросы Reuters об этих проблемах, в том числе о том, сколько их было и почему они сохраняются.
Более ранний недостаток: 6800 общих чатов можно обнаружить в общедоступном DNS.
Это не первая проблема с конфиденциальностью Muse. В октябре охранная фирма Claroc обнаружила, что ссылки Muse для обмена беседами можно обнаружить с помощью общедоступных для поиска пассивных записей DNS: все общие ссылки использовали домен cf.metaaiusercontent.com, а заголовок беседы был встроен непосредственно в поддомен, поэтому один запрос мог перечислить около 6800 ссылок на общие беседы, сотни из которых содержали конфиденциальную информацию, никогда не предназначенную для публичного доступа. Соучредитель Claroc сообщил о результатах через программу вознаграждения за ошибки Meta 8 октября и не получил ответа; 20 октября Meta приостановила функцию обмена, а затем восстановила ее с исправлением.
Apple ужесточила разрешения из-за роста давления со стороны регулирующих органов
Агентство Reuters отметило, что эти инциденты также подтолкнули к действию поставщиков операционных систем. На этой неделе Apple изменила свою операционную систему, чтобы дать людям больше контроля над использованием данных агентов, резко ограничив использование разработчиками инструментов специальных возможностей на Mac и представив новый набор разрешений, ориентированный на агентов, после того как обозреватель журнала Inc. Magazine обвинил Muse в чтении частных чатов из приложения «Сообщения» на его Mac. Apple заявила, что стремится обеспечить, чтобы пользователи точно понимали, что они разрешают; Google заявил, что тоже рассматривает изменения.
Другие случаи с сотрудниками включали в себя бронирование Muse невозвратного проживания на Airbnb без разрешения и завышение цен на продукты, которые пользователи покупали, что стоило им реальных денег. Meta заверила пользователей, что изолирует каждого агента в его собственной безопасной «виртуальной машине» и дает людям полный контроль над тем, какие приложения они подключают. Генеральный директор Марк Цукерберг ссылался на эти меры защиты, отвергая призывы к общеотраслевым стандартам безопасности ИИ, в то время как условия обслуживания Meta предупреждают, что Muse может совершать ошибки и возлагать на пользователей ответственность за действия агента.
С момента запуска в сентябре у Muse было более 10 миллионов загрузок. Это одно из самых быстрорастущих приложений за всю историю: около четверти людей, создавших учетные записи, возвращаются каждый день, и это центральный элемент плана Meta по получению миллиардов долларов дохода от ИИ. Агентство Reuters заявило, что эти инциденты подчеркивают риски, связанные с новой категорией потребительских агентов искусственного интеллекта от Meta, OpenAI и других, которые обещают выполнять задачи от имени пользователей, а также новые проблемы, которые они создают для конфиденциальности и для операционных систем, которые управляют их разрешениями.
N環球 
💬 Comments
No comments yet. Be the first!