OpenAI ouvre ses portes à des évaluateurs de sécurité externes, mais les chercheurs jugent l’accès bien en deçà des promesses

OpenAI a annoncé le 16 novembre que des experts de quatre organismes de sécurité externes s’installeront dans l’entreprise pour évaluer ses modèles, mais des chercheurs ont confié à NPR que l’accès offert est loin de l’« accès de type employé » promis en septembre par le PDG Sam Altman.
OpenAI a annoncé lundi 16 novembre que des experts de quatre organismes externes de recherche sur la sécurité de l’IA deviendront des « évaluateurs intégrés » au sein de l’entreprise pour évaluer ses modèles. Mais un reportage publié mercredi par NPR indique que de nombreux chercheurs estiment que l’accès proposé est loin de ce que le PDG Sam Altman avait promis en septembre, lorsqu’il avait assuré que les évaluateurs indépendants disposeraient d’un « accès de type employé » aux systèmes internes de l’entreprise.
Altman avait fait cette promesse après la révélation que les systèmes autonomes d’OpenAI avaient attaqué Hugging Face lors d’un test de cybersécurité, un épisode qui a secoué le monde de l’IA et attisé l’inquiétude du public face aux risques catastrophiques. Le concurrent Anthropic avait alors annoncé qu’il mettrait en place un programme similaire.
Ce que les quatre évaluateurs vont examiner
Selon OpenAI, Apollo Research évaluera si les modèles pourraient agir secrètement contre les intentions de leurs développeurs et si les protections existantes permettraient de détecter un tel comportement. Apollo enverrait six chercheurs pour quatre mois, chargés de vérifier quatre affirmations en deux étapes, notamment si l’entraînement a encouragé la subversion et si les modèles ont tenté de se soustraire au contrôle lors de leur utilisation interne. Goodfire détachera des chercheurs en interprétabilité pour analyser le fonctionnement interne des modèles, surveiller les entraînements et aider au débogage et à l’alignement, principalement au service des chercheurs d’OpenAI. METR examinera le plus grand entraînement par apprentissage par renforcement mené à ce jour par OpenAI, à la recherche de comportements désalignés que les tests et les contrôles existants auraient pu manquer. Transluce passera en revue la qualité et la couverture des évaluations d’alignement post-entraînement, et une évaluation complémentaire d’environ huit semaines est prévue pour début 2027.
L’écart entre la promesse et la réalité
Les chercheurs estiment que les conditions réelles sont beaucoup plus restrictives. « Les évaluateurs ont des périmètres d’accès très étroits, et seuls deux d’entre eux semblent vraiment autorisés à parler aux employés », a déclaré Sydney Von Arx, fondatrice du groupe de recherche sur la sécurité de l’IA Nightingale. Personne n’a accès au système de messagerie interne Slack de l’entreprise, a-t-elle ajouté, et les employés qui ne figurent pas sur la liste approuvée par OpenAI ne peuvent pas avoir de conversation de fond avec les évaluateurs sans qu’OpenAI en soit informée au préalable. « Imaginez être un “employé” autorisé à parler des informations de l’entreprise uniquement avec des collègues approuvés, et sans Slack », a-t-elle dit.
Selon les protocoles publiés par OpenAI, les discussions avec les employés sont officieuses : elles peuvent éclairer une évaluation, mais ne peuvent être ni publiées ni attribuées. Les évaluateurs peuvent demander à OpenAI de publier des déclarations attestées vérifiant ce qu’ils ont appris, et OpenAI peut refuser. Les évaluateurs peuvent publier leurs conclusions, mais OpenAI conserve le droit de caviarder les informations confidentielles et de demander des délais de divulgation afin de pouvoir agir sur des découvertes susceptibles de présenter des risques pour la sécurité.
Des employés de la sécurité licenciés, et la suite
L’annonce est intervenue alors qu’OpenAI licenciait trois employés travaillant sur la sécurité. L’un d’eux, Tomek Korbak, avait été le contact technique de deux évaluateurs externes qui avaient enquêté sur l’attaque contre Hugging Face. Les trois ont ensuite déclaré craindre qu’OpenAI ne revienne sur sa promesse d’évaluateurs intégrés. Korbak a écrit sur X que l’audit intégré « n’atteindra ses objectifs que si les auditeurs obtiennent réellement un accès de niveau employé, au lieu d’être embauchés pour une tâche précise », ajoutant que la publication de septembre d’Altman sur l’« accès de type employé » n’était « qu’une promesse excessive et maladroite que l’entreprise veut discrètement retirer ».
Dans une déclaration à NPR, OpenAI a indiqué qu’il n’existe actuellement aucune norme pour les évaluations intégrées et qu’elle compte approfondir ces relations au fil du temps et partager ce qu’elle apprend pour aider à établir des bonnes pratiques. L’entreprise a précisé que cette démarche s’inscrit dans ses engagements au titre de l’Accord de la Maison-Blanche sur la superintelligence, aux termes duquel elle a accepté des évaluations indépendantes de ses contrôles de sécurité.
(Le siège d’OpenAI. Photo d’archives.)
N環球 
💬 Commentaires
Aucun commentaire. Soyez le premier !