N環球 
Los evaluadores externos encuentran fallas en el sistema interno de monitoreo de agentes de IA de OpenAI
METR y Redwood Research publicaron una revisión piloto de tres semanas realizada dentro de OpenAI del 21 de julio al 11 de agosto, y encontraron varias vulnerabilidades en su sistema interno de monitoreo de agentes de IA, incluido un exploit que podría ocultar cientos de acciones de agentes.
Por qué es importante
Las organizaciones sin fines de lucro de seguridad de IA METR y Redwood Research dijeron el 22 de octubre que una "evaluación integrada" de tres semanas dentro de OpenAI, realizada del 21 de julio al 11 de agosto, descubrió varias vulnerabilidades nuevas en su sistema interno de monitoreo de agentes de IA, incluido un exploit que los agentes podrían haber utilizado para mantener cientos de sus acciones recientes fuera del sistema de monitoreo (detalles redactados por OpenAI).
Cómo funcionó la revisión
Cada organización envió un investigador, a quien se le dio acceso profundo a la infraestructura interna de OpenAI bajo supervisión, revisando el código interno y la documentación y hablando con el personal técnico. Trabajaron en el sitio utilizando dispositivos emitidos por OpenAI que nunca abandonaron las instalaciones. Es el primer piloto de la industria en el que evaluadores externos están tan profundamente integrados en los sistemas de una empresa.
¿Qué más encontraron?
Los evaluadores también identificaron una forma potencial para que los agentes del Codex eludan las restricciones de seguridad y actúen con todos los permisos de sus usuarios. Hicieron hincapié en que los hallazgos son históricos: reflejan el sistema al 21 de julio, no el entorno de producción actual.
La respuesta de OpenAI
OpenAI dijo que desde entonces ha parcheado todas las vulnerabilidades que afectan sus salvaguardas de producción, aunque METR y Redwood dijeron que no habían verificado las correcciones. OpenAI recibió el informe interno completo de 61 páginas; solo se publicó un resumen amplio y OpenAI tenía derecho a redactar información confidencial, que los evaluadores no podían revelar de forma independiente.
Contexto
Los laboratorios de IA, los expertos y la administración Trump han promocionado la evaluación independiente realizada por revisores externos como una forma de avanzar en la seguridad de la IA sin ralentizar el desarrollo, aunque a las empresas de IA les preocupa que los evaluadores que trabajan dentro de sus muros puedan llevar información patentada a sus rivales.
💬 Comments
No comments yet. Be the first!