N環球 N GLOBE
Tecnología estadounidense

OpenAI abre las puertas a evaluadores de seguridad externos, pero los investigadores dicen que el acceso está muy lejos de ser prometedor

· N GLOBE

OpenAI dijo el 16 de noviembre que personal de cuatro organizaciones de seguridad externas se incorporará a la compañía para evaluar sus modelos, pero los investigadores dijeron a NPR que el acceso ofrecido está muy por debajo de la promesa de septiembre del CEO Sam Altman de un "acceso similar al de los empleados".

OpenAI anunció el lunes 16 de noviembre que el personal de cuatro organizaciones externas de investigación y seguridad de IA se convertirán en "evaluadores integrados" en la empresa para evaluar sus modelos. Pero un informe publicado por NPR el miércoles dijo que muchos investigadores creen que el acceso que se ofrece está muy por debajo de lo que el director ejecutivo Sam Altman prometió en septiembre, cuando prometió que los evaluadores independientes tendrían "acceso similar al de los empleados" a los sistemas internos de la empresa.

Altman hizo esa promesa después de que se supo que los sistemas autónomos de OpenAI habían atacado a Hugging Face durante las pruebas de ciberseguridad, un episodio que sacudió el campo de la IA y agudizó la preocupación pública sobre el riesgo catastrófico. Su rival Anthropic dijo en su momento que pondría en marcha un programa similar.

Lo que examinarán los cuatro evaluadores

Según OpenAI, Apollo Research evaluará si los modelos podrían funcionar de forma encubierta en contra de las intenciones de sus desarrolladores y si las salvaguardas existentes detectarían tal comportamiento. Se informa que Apollo enviará a seis investigadores durante cuatro meses, probando cuatro afirmaciones en dos etapas, incluido si el entrenamiento incentivó la subversión y si los modelos intentaron la subversión durante el uso interno. Goodfire incorporará investigadores de interpretabilidad para analizar los componentes internos del modelo, monitorear las ejecuciones de entrenamiento y ayudar con la depuración y la alineación, principalmente para los propios investigadores de OpenAI. METR examinará la ejecución de aprendizaje por refuerzo más grande de OpenAI hasta la fecha, buscando comportamientos desalineados que sus pruebas y monitores existentes puedan haber pasado por alto. Transluce revisará la calidad y cobertura de las evaluaciones de alineación posteriores al entrenamiento de OpenAI, con una evaluación de seguimiento de aproximadamente ocho semanas planificada para principios de 2027.

La brecha entre la promesa y la práctica

Los investigadores dicen que los términos reales son mucho más limitados. "Los evaluadores tienen un alcance de acceso muy limitado, y sólo dos de ellos parecen tener realmente permiso para hablar con los empleados", dijo Sydney Von Arx, fundador del grupo de investigación de seguridad de IA Nightingale. Nadie tiene acceso al sistema de mensajería interno Slack de la empresa, dijo, y los empleados que no han sido incluidos en la lista blanca de OpenAI no pueden tener conversaciones sustanciales con los evaluadores a menos que OpenAI se conecte primero. "Imagínese ser un empleado y solo poder hablar sobre información de la empresa con compañeros de trabajo incluidos en la lista blanca y no tener Slack", dijo.

Según los protocolos publicados de OpenAI, las discusiones con los empleados son extraoficiales: pueden informar una evaluación, pero no pueden publicarse ni atribuirse. Los evaluadores pueden solicitar a OpenAI que emita declaraciones certificadas que verifiquen lo que aprendieron, y OpenAI puede rechazarlas. Los evaluadores pueden publicar sus hallazgos, pero OpenAI se reserva el derecho de redactar información confidencial y solicitar retrasos en la divulgación para poder actuar sobre los hallazgos que podrían plantear riesgos de seguridad.

Personal de seguridad despedido y lo que viene después

El anuncio se produjo cuando OpenAI despidió a tres empleados que trabajaban en seguridad. Uno de ellos, Tomek Korbak, había sido el punto de contacto técnico de dos evaluadores externos que investigaron el ataque de Hugging Face. Más tarde, los tres dijeron que temían que OpenAI estuviera echando atrás su promesa de tener evaluadores integrados. Korbak escribió en X que la auditoría integrada "sólo cumplirá sus objetivos si los auditores realmente obtienen acceso a nivel de empleado en lugar de ser contratados para realizar un trabajo específico", y agregó que la publicación de Altman en septiembre sobre el "acceso tipo empleado" fue "sólo una incómoda promesa excesiva de que la empresa quiere regresar silenciosamente".

En una declaración a NPR, OpenAI dijo que actualmente no existen estándares para evaluaciones integradas y que espera profundizar las relaciones con el tiempo y compartir lo que aprende para ayudar a establecer mejores prácticas. La compañía dijo que el esfuerzo respalda sus compromisos bajo el Acuerdo de la Casa Blanca sobre Superinteligencia, bajo el cual acordó evaluaciones independientes de sus controles de seguridad.

(Sede de OpenAI. Foto de archivo).

💬 Comments

No comments yet. Be the first!