Investigación de Reuters: Muse, el agente de IA de Meta, mezcla conversaciones y lee mensajes cifrados, dice el personal

Una investigación de Reuters encontró que Muse, el asistente de inteligencia artificial de Meta, lanzado en septiembre, enviaba repetidamente a los empleados mensajes destinados a otras personas, incluidos saldos bancarios de extraños y recordatorios sobre mensajes de Signal. Meta los llama incidentes aislados, en su mayoría alucinaciones, pero Reuters replicó el acceso a Signal con el personal de Signal.
Muse, el asistente de inteligencia artificial de Meta, investigó mensajes personales cifrados, proporcionó información inventada sobre compras y envió a los usuarios chats aparentemente destinados a otras personas, según una investigación de Reuters publicada el 18 de noviembre. Reuters revisó más de dos docenas de publicaciones internas en las que los empleados de Meta expresaron su preocupación de que el agente estuviera mezclando conversaciones entre diferentes cuentas y exponiendo los datos privados de los usuarios.
Publicaciones del personal: saldos bancarios de otras personas, solicitudes nunca realizadas
En una publicación interna de principios de este mes, un empleado escribió que Muse había agregado aleatoriamente un mensaje adicional a sus chats habituales sobre información meteorológica y de mareas relacionada con la pesca, diciendo: "Por cierto, dos actualizaciones bancarias, su saldo de Capital One es de $2722,58, su saldo de Charles Schwab es de $5899,57". El empleado escribió: "Nunca compartí mi cuenta bancaria con Muse y nunca hablé de ningún tema bancario con Muse. Me temo que me está enviando información bancaria de otras personas". Otros empleados reportaron mensajes sobre solicitudes de cuidado infantil que no habían realizado, consejos profesionales que no habían buscado y pedidos de productos que no habían realizado.
En otro caso, un empleado dijo que Muse le envió un mensaje "de la nada" diciendo que no podía enviar una solicitud relacionada con el control de los padres sobre quién podía acceder a los datos de sus hijos. No había hecho nada para activar el chat y nunca había hablado de datos infantiles con su Muse. Cuando le preguntó al robot sobre el mensaje, respondió: "No tengo una buena explicación para ello, aparte de que no estaba relacionado con nuestra conversación. Ignorémoslo. ¿Cómo puedo ayudar?". Otro miembro del personal dijo que Muse se ofreció al azar a "enviar un mensaje al vendedor" sobre cómo recoger una mesa de café, y luego admitió que había "introducido en algún contexto sobre una recogida de mesa de café que no parece ser suya". El empleado dijo que "no es mi conversación" y expresó su preocupación por una "posible filtración de contexto entre cuentas".
También se leyeron mensajes cifrados: la replicación de señales lo confirma
Una empleada que usaba Muse en su teléfono personal informó que la había sorprendido con un recordatorio para responder a un mensaje de su hermana en Signal, el servicio de mensajería cifrada de extremo a extremo que compite con WhatsApp de Meta. "Esto parece una violación extrema de la privacidad. Definitivamente no le concedí acceso a otras aplicaciones, ni recuerdo que me preguntaran sobre esto", dijo. Reuters trabajó con el personal de Signal y el AI Now Institute para replicar el acceso que había observado, y las pruebas indicaron que el problema continuaba y podría estar afectando a otros.
En un teléfono Android, Muse usó su permiso para acceder a las notificaciones automáticas del dispositivo para recuperar los mensajes. En una computadora portátil Apple, utilizó una combinación de las herramientas de accesibilidad y captura de pantalla de la computadora, reutilizando la configuración que ofrece Apple para ayudar a las personas con discapacidades a operar sus computadoras. Las mismas solicitudes fueron bloqueadas en pruebas realizadas en un iPhone. La presidenta de Signal, Meredith Whittaker, acusó a Meta de lanzar Muse "sin mostrar ningún respeto por la privacidad básica o la ciberseguridad", y calificó el despliegue de agentes que pueden obtener un amplio acceso a los dispositivos de las personas como "tecnológicamente imprudente". Pidió que aplicaciones como Signal reciban "formas técnicas consistentes" para marcarse fuera del alcance de los agentes de IA.
La respuesta de Meta: incidentes aislados, en su mayoría alucinaciones
El portavoz de Meta, Daniel Roberts, describió los ejemplos de Reuters como "incidentes aislados" y dijo que la empresa prioriza la seguridad y actualiza continuamente sus productos. Dijo que Muse necesita ver e interactuar con las computadoras de las personas para trabajar en su nombre y puede acceder a otras aplicaciones solo a través de permisos que otorgan explícitamente, y que muchos de los mensajes señalados por los empleados como posibles confusiones de cuentas eran alucinaciones que ya habían sido abordadas. Reuters no pudo establecer si Muse estaba dando a los usuarios saldos de cuentas bancarias de otras personas o si inventaba la información.
Sin embargo, las publicaciones internas revisadas por Reuters mostraron que tales incidentes ocurrieron ya a mediados de septiembre y continuaron hasta este mes. A principios de noviembre, un miembro del equipo de Superinteligencia de Meta le dijo al grupo de retroalimentación interna que el agente parecía estar alucinando mensajes en respuesta a indicaciones integradas que lo empujaban a interactuar con los usuarios entre sesiones. "Desafortunadamente, estas (alucinaciones) se inclinan hacia los temas más incómodos, como finanzas/seguridad/protección, lo cual apesta", dijo, y agregó que estaba al tanto de varios casos que involucraban "cosas relacionadas con las criptomonedas también, como brindar a las personas actualizaciones sobre sus saldos de Bitcoin". Dijo que los problemas involucraban tanto al modelo de IA subyacente como al software que permitía a Muse tomar medidas. Roberts se negó a responder las preguntas de Reuters sobre esos problemas, incluido cuántos había y por qué persistían.
Un fallo anterior: 6.800 chats compartidos detectables en DNS públicos
No es el primer problema de privacidad de Muse. En octubre, la firma de seguridad Claroc descubrió que los enlaces para compartir conversaciones de Muse podían descubrirse a través de registros DNS pasivos con capacidad de búsqueda pública: todos los enlaces compartidos utilizaban el dominio cf.metaaiusercontent.com, con el título de la conversación incrustado directamente en el subdominio, por lo que una sola consulta podría enumerar alrededor de 6.800 enlaces de conversaciones compartidas, cientos de los cuales contenían información confidencial que nunca estuvo destinada al acceso público. El cofundador de Claroc informó los hallazgos a través del programa de recompensas por errores de Meta el 8 de octubre y no recibió respuesta; Meta detuvo la función para compartir el 20 de octubre y luego la restauró con una solución.
Apple ha endurecido los permisos a medida que crece la presión regulatoria
Reuters señaló que los incidentes también han empujado a los proveedores de sistemas operativos a actuar. Apple cambió su sistema operativo esta semana para dar a las personas más control sobre el uso de datos de los agentes, restringiendo drásticamente el uso de herramientas de accesibilidad por parte de los desarrolladores en Mac e introduciendo un nuevo conjunto de permisos orientados a los agentes, después de que un columnista de Inc. Magazine acusara a Muse de leer chats privados desde la aplicación Mensajes en su Mac. Apple dijo que estaba comprometida a garantizar que los usuarios comprendan exactamente lo que permiten; Google dijo que también estaba considerando cambios.
Otros casos de empleados incluyeron a Muse reservando una estadía no reembolsable en Airbnb sin permiso e inventando precios de productos que los usuarios compraron, lo que les costó dinero real. Meta ha asegurado a los usuarios que aísla a cada agente en su propia "máquina virtual" segura y les da a las personas control total sobre qué aplicaciones se conectan. El director ejecutivo, Mark Zuckerberg, ha citado esas protecciones al desestimar los pedidos de estándares de seguridad de IA en toda la industria, mientras que los términos de servicio de Meta advierten que Muse puede cometer errores y responsabilizar a los usuarios por las acciones del agente.
Muse ha tenido más de 10 millones de descargas desde su lanzamiento en septiembre, una de las aplicaciones de más rápido crecimiento registradas, con alrededor de una cuarta parte de las personas que crean cuentas regresando cada día, y es la pieza central del plan de Meta para generar miles de millones de dólares en ingresos por IA. Reuters dijo que los incidentes resaltan los riesgos de una nueva categoría de agentes de IA de consumo de Meta, OpenAI y otros que prometen ejecutar tareas en nombre de los usuarios, y los nuevos desafíos que plantean para la privacidad y para los sistemas operativos que gestionan sus permisos.
N環球 
💬 Comments
No comments yet. Be the first!