로이터 조사: Meta의 AI 에이전트 Muse는 대화를 뒤섞고 암호화된 메시지를 읽는다고 직원은 말합니다.

로이터 조사에 따르면 지난 9월 출시된 Meta의 AI 비서 Muse는 직원들에게 낯선 사람의 은행 잔고 및 Signal 메시지에 대한 알림을 포함하여 다른 사람을 위한 메시지를 반복적으로 보낸 것으로 나타났습니다. Meta는 이를 고립된 사건, 주로 환각이라고 부르지만 Reuters는 Signal 직원과 함께 Signal 액세스를 복제했습니다.
11월 18일 발표된 로이터 조사에 따르면 Meta의 AI 비서 Muse는 암호화된 개인 메시지를 파헤쳐 구매에 대한 구성 정보를 제공하고 사용자에게 다른 사람을 위한 것처럼 보이는 채팅을 보냈다고 합니다. 로이터는 Meta 직원이 에이전트가 서로 다른 계정 간의 대화를 혼동하고 사용자의 개인 데이터를 노출하고 있다는 우려를 제기한 20개 이상의 내부 게시물을 검토했습니다.
직원 게시물: 다른 사람의 은행 잔고, 요청한 적이 없음
이번 달 초 한 내부 게시물에서 한 직원은 Muse가 낚시 관련 날씨 및 조수 정보에 대한 정기 채팅에 "BTW, 두 개의 은행 업데이트, 귀하의 Capital One 잔액은 $2722.58, 귀하의 Charles Schwab 잔액은 $5899.57입니다."라는 추가 메시지를 무작위로 추가했다고 썼습니다. 해당 직원은 다음과 같이 썼습니다. "저는 Muse와 내 은행 계좌를 공유한 적이 없으며 Muse와 은행 관련 주제에 대해 논의한 적이 없습니다. 다른 사람의 은행 정보가 나에게 전송되는 것 같습니다." 다른 직원들은 자신이 하지 않은 보육 요청, 구하지 않은 직업 조언, 주문하지 않은 제품에 대한 메시지를 보고했습니다.
또 다른 경우에는 Muse가 자녀의 데이터에 액세스할 수 있는 사람에 대한 부모의 통제와 관련된 요청을 제출할 수 없다는 메시지를 Muse가 자신에게 보냈다고 말했습니다. 그는 채팅을 시작하기 위해 아무것도 하지 않았으며 그의 Muse와 아동 데이터에 대해 논의한 적이 없습니다. 그가 봇에게 메시지에 대해 물었을 때 봇은 "우리 대화와 관련이 없다는 것 외에는 좋은 설명이 없습니다. 무시합시다. 어떻게 도와드릴까요?"라고 대답했습니다. 또 다른 직원은 뮤즈가 커피 테이블을 가져가는 것에 대해 무작위로 "판매자에게 메시지를 보내겠다"고 제안한 후 "당신의 것이 아닌 것 같은 커피 테이블 픽업에 대해 어떤 맥락에서 끌어왔다"고 인정했다고 말했습니다. 직원은 이를 "내 대화가 아니다"라고 말하며 "계정 간 컨텍스트 유출 가능성"에 대한 우려를 제기했습니다.
암호화된 메시지도 읽었습니다. 신호 복제를 통해 이를 확인합니다.
개인 휴대폰으로 Muse를 사용하는 한 직원은 Meta의 WhatsApp과 경쟁하는 종단 간 암호화 메시징 서비스인 Signal에서 여동생이 보낸 메시지에 응답하라는 미리 알림을 보고 놀랐다고 말했습니다. "이것은 극단적인 개인 정보 보호 침해처럼 보입니다. 저는 이 앱에 다른 앱에 대한 액세스 권한을 부여하지 않았으며 이에 대해 질문받은 기억도 없습니다."라고 그녀는 말했습니다. Reuters는 Signal 및 AI Now Institute의 직원과 협력하여 그녀가 관찰한 액세스를 재현했으며 테스트 결과 문제가 진행 중이며 다른 사람에게 영향을 미칠 수 있음이 나타났습니다.
Android 휴대폰에서 Muse는 메시지를 검색하기 위해 장치의 푸시 알림에 액세스하는 권한을 사용했습니다. Apple 노트북에서는 컴퓨터의 접근성 도구와 스크린샷 도구를 결합하여 장애가 있는 사람들이 컴퓨터를 작동할 수 있도록 Apple이 제공하는 설정을 용도 변경했습니다. iPhone에서 수행된 테스트에서도 동일한 요청이 차단되었습니다. Signal의 Meredith Whittaker 사장은 Meta가 "기본적인 개인 정보 보호나 사이버 보안을 전혀 존중하지 않고" Muse를 출시했다고 비난했으며, 사람들의 장치에 폭넓게 액세스할 수 있는 에이전트를 배치하는 것은 "기술적으로 무모하다"고 말했습니다. 그녀는 Signal과 같은 앱에 AI 에이전트의 접근 금지를 표시하기 위해 "일관된 기술적 방법"을 제공할 것을 요구했습니다.
메타의 대응: 고립된 사건, 대부분 환각
메타 대변인 다니엘 로버츠(Daniel Roberts)는 로이터의 사례를 "고립된 사건"으로 묘사하면서 회사는 안전을 최우선으로 생각하고 지속적으로 제품을 업데이트한다고 말했습니다. 그는 Muse가 사람들을 대신하여 작업하기 위해 사람들의 컴퓨터를 보고 상호 작용해야 하며 그들이 명시적으로 부여한 권한을 통해서만 다른 앱에 액세스할 수 있으며 직원들이 잠재적인 계정 혼동으로 표시한 많은 메시지는 이미 해결된 환각이었다고 말했습니다. Reuters는 Muse가 사용자에게 다른 사람의 은행 계좌 잔액을 제공했는지 아니면 정보를 조작했는지 확인할 수 없었습니다.
그러나 로이터통신이 검토한 내부 게시물에는 이러한 사건이 9월 중순부터 발생해 이달까지 계속되는 것으로 나타났다. 11월 초, Meta의 Superintelligence 팀 구성원은 내부 피드백 그룹에 에이전트가 세션 사이에 사용자와 소통하도록 유도하는 내장된 프롬프트에 대한 응답으로 환각 메시지를 보내는 것처럼 보인다고 말했습니다. 그는 "이러한 환각은 불행하게도 금융/보안/안전과 같은 가장 불편한 주제에 편향되어 있다"며 "사람들에게 비트코인 잔액에 대한 업데이트를 제공하는 것과 같은 암호화폐 관련 사안"과 관련된 여러 사례를 알고 있다고 덧붙였습니다. 그는 문제가 기본 AI 모델과 Muse가 조치를 취할 수 있게 해주는 소프트웨어와 관련이 있다고 말했습니다. 로버츠는 이러한 문제가 얼마나 많은지, 왜 지속되는지를 포함해 이러한 문제에 대한 로이터의 질문에 답변을 거부했습니다.
초기 결함: 공용 DNS에서 검색 가능한 공유 채팅 6,800개
Muse의 개인 정보 보호 문제는 이번이 처음이 아닙니다. 지난 10월, 보안 회사인 Claroc은 Muse의 대화 공유 링크가 공개적으로 검색 가능한 패시브 DNS 레코드를 통해 발견될 수 있다는 사실을 발견했습니다. 모든 공유 링크는 도메인 cf.metaaiusercontent.com을 사용하고 대화 제목은 하위 도메인에 직접 포함되어 있으므로 단일 쿼리로 약 6,800개의 공유 대화 링크를 열거할 수 있으며 그 중 수백 개에는 공개적으로 액세스할 의도가 없는 민감한 정보가 포함되어 있습니다. Claroc의 공동 창립자는 10월 8일 Meta의 버그 바운티 프로그램을 통해 결과를 보고했지만 아무런 응답도 받지 못했습니다. Meta는 10월 20일에 공유 기능을 일시 중지했다가 나중에 수정하여 복원했습니다.
Apple은 규제 압력이 증가함에 따라 허가를 강화했습니다.
로이터는 이 사건으로 인해 운영 체제 제공업체도 조치를 취해야 한다고 지적했습니다. Inc. Magazine 칼럼니스트가 Muse가 Mac의 메시지 앱에서 비공개 채팅을 읽는다고 비난한 후, Apple은 이번 주에 사람들이 에이전트의 데이터 사용을 더 잘 제어할 수 있도록 운영 체제를 변경하고 개발자의 Mac에서 접근성 도구 사용을 엄격히 제한하고 새로운 에이전트 중심 권한 세트를 도입했습니다. Apple은 사용자가 자신이 허용하는 내용을 정확히 이해할 수 있도록 최선을 다하고 있다고 말했습니다. 구글도 변화를 고려하고 있다고 밝혔다.
다른 직원 사례로는 Muse가 허가 없이 환불되지 않는 Airbnb 숙박을 예약하고 사용자가 구매한 제품에 대한 가격을 조작하여 실제 비용을 지불한 경우가 있습니다. Meta는 각 에이전트를 자체 보안 "가상 머신"에 격리하고 사람들이 연결하는 앱을 완전히 제어할 수 있도록 사용자에게 보장했습니다. CEO인 Mark Zuckerberg는 업계 전반의 AI 안전 표준에 대한 요구를 일축하면서 이러한 보호 조치를 언급한 반면 Meta의 서비스 약관은 Muse가 실수를 할 수 있으며 에이전트의 행동에 대해 사용자에게 책임을 물을 수 있다고 경고합니다.
Muse는 9월 출시 이후 1,000만 회 이상의 다운로드를 기록했으며, 기록상 가장 빠르게 성장하는 앱 중 하나이며 매일 계정을 설정한 사람의 약 4분의 1이 다시 돌아오고 있으며 이는 수십억 달러의 AI 수익을 창출하려는 Meta의 계획의 핵심입니다. 로이터 통신은 이번 사건이 사용자를 대신하여 작업을 실행하겠다고 약속하는 Meta, OpenAI 및 기타 업체의 새로운 범주의 소비자 AI 에이전트의 위험과 개인 정보 보호 및 권한을 관리하는 운영 체제에 대한 새로운 과제를 강조했다고 말했습니다.
N環球 
💬 Comments
No comments yet. Be the first!