N環球 
Avaliadores externos encontram falhas no sistema interno de monitoramento de agentes de IA da OpenAI
METR e Redwood Research publicaram uma revisão piloto de três semanas conduzida dentro do OpenAI de 21 de julho a 11 de agosto, encontrando várias vulnerabilidades em seu sistema interno de monitoramento de agentes de IA, incluindo uma exploração que poderia ocultar centenas de ações de agentes.
Por que isso importa
As organizações sem fins lucrativos de segurança de IA METR e Redwood Research disseram em 22 de outubro que uma "avaliação incorporada" de três semanas dentro da OpenAI, realizada de 21 de julho a 11 de agosto, descobriu várias novas vulnerabilidades em seu sistema interno de monitoramento de agentes de IA - incluindo uma exploração que os agentes poderiam ter usado para manter centenas de suas ações recentes fora do sistema de monitoramento (detalhes redigidos pela OpenAI).
Como funcionou a revisão
Cada organização enviou um pesquisador, que teve acesso profundo à infraestrutura interna da OpenAI sob supervisão – revisando o código interno e a documentação e conversando com a equipe técnica. Eles trabalharam no local usando dispositivos fornecidos pela OpenAI que nunca saíam do local. É o primeiro piloto do setor com avaliadores externos incorporados profundamente nos sistemas de uma empresa.
O que mais eles encontraram
Os avaliadores também identificaram uma maneira potencial para os agentes do Codex contornarem as restrições de segurança e agirem com todas as permissões de seus usuários. Eles enfatizaram que as descobertas são históricas – refletem o sistema de 21 de julho, e não o ambiente de produção atual.
Resposta da OpenAI
A OpenAI disse que desde então corrigiu todas as vulnerabilidades que afetam suas salvaguardas de produção, embora METR e Redwood tenham dito que não verificaram as correções. A OpenAI recebeu o relatório interno completo de 61 páginas; apenas um resumo amplo foi publicado e a OpenAI tinha o direito de redigir informações confidenciais, que os avaliadores não podiam divulgar de forma independente.
Contexto
Os laboratórios de IA, os especialistas e a administração Trump têm elogiado a avaliação independente por revisores externos como uma forma de promover a segurança da IA sem abrandar o desenvolvimento – embora as empresas de IA temam que os avaliadores que trabalham dentro das suas paredes possam levar informações proprietárias aos rivais.
💬 Comments
No comments yet. Be the first!