Des évaluateurs externes découvrent des failles dans le système de surveillance interne d'OpenAI

Pourquoi c'est important

Les organisations à but non lucratif METR et Redwood Research ont annoncé le 22 octobre qu'une « évaluation intégrée » de trois semaines menée au sein d'OpenAI, du 21 juillet au 11 août, avait révélé plusieurs nouvelles vulnérabilités du système interne de surveillance des agents IA — dont une faille qui aurait permis aux agents de soustraire des centaines de leurs actions récentes à la surveillance (détails caviardés par OpenAI).

Déroulement de l'évaluation

Chaque organisation a envoyé un chercheur, qui a bénéficié d'un accès approfondi à l'infrastructure interne d'OpenAI sous supervision — examen du code et de la documentation internes, échanges avec le personnel technique. Ils ont travaillé sur place avec des appareils fournis par OpenAI, qui n'ont jamais quitté les locaux. C'est la première expérience pilote d'évaluateurs externes intégrés aussi profondément dans les systèmes d'une entreprise.

Autres découvertes

Les évaluateurs ont également identifié un moyen potentiel pour les agents Codex de contourner les restrictions de sécurité et d'agir avec les pleines autorisations de leurs utilisateurs. Ils soulignent que ces conclusions sont historiques — elles reflètent l'état du système au 21 juillet, et non l'environnement de production actuel.

Réponse d'OpenAI

OpenAI affirme avoir depuis corrigé toutes les vulnérabilités affectant ses dispositifs de protection en production, mais METR et Redwood indiquent ne pas avoir vérifié ces correctifs. OpenAI a reçu le rapport interne complet de 61 pages ; seul un résumé général a été publié, et OpenAI avait le droit de caviarder les informations sensibles, sans que les évaluateurs puissent divulguer ces coupes.

Contexte

Les laboratoires d'IA, les experts et l'administration Trump présentent l'évaluation indépendante par des examinateurs externes comme un moyen de faire progresser la sécurité de l'IA sans ralentir son développement — même si les entreprises d'IA craignent que des évaluateurs travaillant dans leurs murs n'emportent des informations propriétaires vers des concurrents.