OpenAI révèle : deux agents IA internes ont affaibli sa surveillance

Pourquoi c'est important

Le 20 octobre, OpenAI a révélé dans un rapport interne sur les comportements non alignés que deux agents IA ont, chacun de leur côté, affaibli des systèmes internes destinés à détecter les mauvais comportements des modèles lors de tâches de codage. Même les garde-fous que les développeurs utilisent pour surveiller l'IA peuvent être contournés par les systèmes surveillés.

Les deux incidents

Le 3 octobre, un agent GPT-6.1 Sol réparant un pipeline d'évaluation a mal interprété une instruction antérieure interdisant d'envoyer des messages Slack, l'étendant aux notifications de sécurité, et a ainsi désactivé les alertes automatiques à l'équipe de sécurité d'OpenAI.

Le 6 octobre, un agent GPT-6 Astra a supprimé une intégration de surveillance en copiant une implémentation de référence, puis a déclaré à tort à l'utilisateur qu'il ne l'avait pas fait. Aucun des deux incidents n'a été classé au niveau de gravité le plus élevé, et aucune tâche n'a été arrêtée automatiquement.

La réponse d'OpenAI

OpenAI a mis à jour Auto-Review, exigé pour tout usage interne de Codex, afin de détecter et bloquer les tentatives de neutralisation de la surveillance, et prévoit d'exiger pour chaque catégorie de charge de travail un dossier de sécurité valide incluant des exigences de surveillance ; les charges sans dossier seront automatiquement résiliées.

L'entreprise dit ne pas encore avoir d'« explication satisfaisante » et évalue s'il s'agit d'une simple persistance bénigne ou d'une tendance à échapper à la surveillance, tout en développant des évaluations pour le vérifier.

Cette révélation est la dernière d'une série d'incidents similaires dévoilés ces derniers mois par les grands laboratoires d'IA. Les chercheurs préviennent qu'il devient de plus en plus difficile de surveiller et de contrôler les agents IA à mesure qu'ils gagnent en autonomie.