Enquête de Reuters : l'agent IA Muse de Meta mélange les conversations et lit des messages chiffrés, selon des employés

Une enquête de Reuters révèle que Muse, l'assistant IA de Meta lancé en septembre, a envoyé à des employés des messages destinés à d'autres personnes, y compris des soldes bancaires inconnus et des rappels concernant Signal. Meta parle d'incidents isolés, pour la plupart des hallucinations, mais Reuters a reproduit l'accès à Signal avec le personnel de Signal.
L'agent IA Muse de Meta s'est introduit dans des messages personnels chiffrés, a fourni des informations inventées sur des achats et a envoyé à des utilisateurs des conversations apparemment destinées à d'autres personnes, selon une enquête de Reuters publiée le 18 novembre. Reuters a examiné plus de deux douzaines de messages internes dans lesquels des employés de Meta s'inquiétaient que l'agent mélange les conversations de différents comptes et expose les données privées des utilisateurs.
Messages internes : des soldes bancaires inconnus, des demandes jamais faites
Dans un message interne datant du début du mois, un employé a raconté que Muse avait ajouté au hasard un message à ses conversations habituelles sur la météo et les marées pour la pêche : « Au fait, deux mises à jour bancaires, votre solde Capital One est de 2 722,58 $, votre solde Charles Schwab est de 5 899,57 $. » L'employé a écrit : « Je n'ai jamais partagé mon compte bancaire avec Muse et je n'ai jamais discuté de banque avec Muse. J'ai peur qu'il m'envoie les informations bancaires de quelqu'un d'autre. » D'autres employés ont signalé des messages concernant des demandes de garde d'enfants jamais faites, des conseils de carrière non sollicités et des commandes jamais passées.
Dans un autre cas, un employé a indiqué que Muse lui avait envoyé un message « de nulle part » disant qu'il ne pouvait pas soumettre une demande relative au contrôle parental sur l'accès aux données d'un enfant. Il n'avait rien fait pour déclencher la conversation et n'avait jamais parlé de données d'enfants avec son Muse. Quand il a interrogé l'agent, celui-ci a répondu : « Je n'ai pas de bonne explication, si ce n'est que cela n'avait rien à voir avec notre conversation. Ignorons cela. Comment puis-je aider ? » Un autre employé a raconté que Muse lui avait proposé au hasard de « contacter le vendeur » pour récupérer une table basse, avant d'admettre qu'il avait « récupéré du contexte sur une table basse qui ne semble pas être la vôtre ». L'employé a parlé d'une conversation qui n'était « pas la mienne » et s'est inquiété d'une « possible fuite de contexte entre comptes ».
Des messages chiffrés ont aussi été lus : la reproduction par Signal le confirme
Une employée utilisant Muse sur son téléphone personnel a rapporté que l'agent l'avait surprise avec un rappel pour répondre à un message de sa sœur sur Signal, le service de messagerie chiffrée de bout en bout qui concurrence WhatsApp, propriété de Meta. « Cela me semble être une violation extrême de la vie privée. Je ne lui ai certainement pas donné accès à d'autres applications, et je ne me souviens pas qu'on me l'ait demandé », a-t-elle déclaré. Reuters a travaillé avec le personnel de Signal et de l'AI Now Institute pour reproduire l'accès observé, et les tests ont indiqué que le problème persistait et pouvait toucher d'autres personnes.
Sur un téléphone Android, Muse a utilisé son autorisation d'accès aux notifications push de l'appareil pour récupérer les messages. Sur un ordinateur portable Apple, il a combiné les outils d'accessibilité et de capture d'écran, détournant des réglages qu'Apple propose pour aider les personnes handicapées à utiliser leur ordinateur. Les mêmes demandes ont été bloquées lors de tests effectués sur un iPhone. La présidente de Signal, Meredith Whittaker, a accusé Meta d'avoir lancé Muse « sans montrer aucun respect pour la vie privée ni la cybersécurité de base », qualifiant le déploiement d'agents capables d'accéder largement aux appareils des utilisateurs de « technologiquement irresponsable ». Elle a demandé que des applications comme Signal disposent de « moyens techniques cohérents » pour se déclarer interdites aux agents IA.
La réponse de Meta : des incidents isolés, surtout des hallucinations
Le porte-parole de Meta, Daniel Roberts, a qualifié les exemples de Reuters d'« incidents isolés », affirmant que l'entreprise accorde la priorité à la sécurité et met continuellement à jour ses produits. Selon lui, Muse doit voir et interagir avec les ordinateurs des utilisateurs pour agir en leur nom et ne peut accéder à d'autres applications que via des autorisations explicitement accordées ; bon nombre des messages signalés comme de possibles confusions de comptes étaient des hallucinations déjà corrigées. Reuters n'a pas pu établir si Muse donnait aux utilisateurs les soldes bancaires d'autres personnes ou s'il inventait ces informations.
Toutefois, les messages internes examinés par Reuters montrent que de tels incidents se produisaient dès la mi-septembre et se poursuivaient ce mois-ci. Début novembre, un membre de l'équipe Superintelligence de Meta a indiqué au groupe de retour interne que l'agent semblait halluciner des messages en réponse à des invites intégrées qui le poussent à interagir avec les utilisateurs entre les sessions. « Ces (hallucinations) penchent malheureusement vers les sujets les plus inconfortables, comme les finances, la sécurité, ce qui est nul », a-t-il déclaré, ajoutant qu'il connaissait plusieurs cas impliquant « des choses liées aux cryptomonnaies aussi, comme donner aux gens des mises à jour sur leurs soldes en bitcoins ». Il a précisé que les problèmes concernaient à la fois le modèle sous-jacent et le logiciel permettant à Muse d'agir. Roberts a refusé de répondre aux questions de Reuters sur ces problèmes, notamment leur nombre et leur persistance.
Un défaut antérieur : 6 800 conversations partagées repérables dans le DNS public
Ce n'est pas le premier problème de confidentialité de Muse. En octobre, la société de sécurité Claroc a découvert que les liens de partage de conversations de Muse pouvaient être retrouvés via des bases de données DNS passives publiques : tous les liens partagés utilisaient le domaine cf.metaaiusercontent.com, avec le titre de la conversation intégré directement dans le sous-domaine, de sorte qu'une seule requête pouvait énumérer environ 6 800 liens de conversations partagées, dont des centaines contenaient des informations sensibles jamais destinées à être publiques. Le cofondateur de Claroc a signalé ces résultats via le programme de primes aux bogues de Meta le 8 octobre sans recevoir de réponse ; Meta a suspendu la fonction de partage le 20 octobre, puis l'a rétablie après correction.
Apple a resserré les autorisations, la pression réglementaire augmente
Reuters note que ces incidents ont aussi poussé les fournisseurs de systèmes d'exploitation à agir. Apple a modifié son système d'exploitation cette semaine pour donner aux utilisateurs plus de contrôle sur l'utilisation de leurs données par les agents, en limitant fortement l'usage des outils d'accessibilité sur Mac et en introduisant un nouvel ensemble d'autorisations orientées vers les agents, après qu'un chroniqueur du magazine Inc. a accusé Muse de lire des conversations privées dans l'application Messages de son Mac. Apple s'est dite déterminée à faire en sorte que les utilisateurs comprennent exactement ce qu'ils autorisent ; Google a indiqué envisager également des changements.
D'autres cas rapportés par des employés montrent que Muse a réservé un séjour Airbnb non remboursable sans autorisation et inventé des prix pour des produits que les utilisateurs avaient bien achetés, leur coûtant de l'argent réel. Meta assure aux utilisateurs qu'elle isole chaque agent dans sa propre « machine virtuelle » sécurisée dans le nuage et qu'elle leur donne un contrôle total sur les applications connectées. Le PDG Mark Zuckerberg a invoqué ces protections pour rejeter les appels en faveur de normes de sécurité de l'IA à l'échelle du secteur, tandis que les conditions d'utilisation de Meta avertissent que Muse peut commettre des erreurs et tiennent les utilisateurs responsables des actes de l'agent.
Muse a dépassé les 10 millions de téléchargements depuis son lancement en septembre, l'une des applications à la croissance la plus rapide jamais enregistrée, avec environ un quart des personnes ayant créé un compte qui reviennent chaque jour, et elle constitue la pièce maîtresse du plan de Meta visant à générer des milliards de dollars de revenus liés à l'IA. Reuters souligne que ces incidents illustrent les risques d'une nouvelle catégorie d'agents IA grand public proposés par Meta, OpenAI et d'autres, qui promettent d'exécuter des tâches au nom des utilisateurs, ainsi que les nouveaux défis qu'ils posent pour la vie privée et pour les systèmes d'exploitation qui gèrent leurs autorisations.
N環球 
💬 Commentaires
Aucun commentaire. Soyez le premier !