N環球 N GLOBE
Tecnologia dos EUA

OpenAI abre portas para avaliadores de segurança externos, mas pesquisadores dizem que o acesso está muito aquém da promessa

· N GLOBE

A OpenAI disse em 16 de novembro que funcionários de quatro organizações de segurança externas irão incorporar-se à empresa para avaliar seus modelos, mas os pesquisadores disseram à NPR que o acesso oferecido fica muito aquém da promessa de setembro do CEO Sam Altman de “acesso semelhante ao dos funcionários”.

A OpenAI anunciou na segunda-feira, 16 de novembro, que funcionários de quatro organizações externas de segurança e pesquisa de IA se tornarão “avaliadores incorporados” na empresa para avaliar seus modelos. Mas um relatório publicado pela NPR na quarta-feira disse que muitos pesquisadores acreditam que o acesso oferecido fica muito aquém do que o presidente-executivo Sam Altman prometeu em setembro, quando prometeu que avaliadores independentes teriam “acesso semelhante ao dos funcionários” aos sistemas internos da empresa.

Altman fez essa promessa depois que se descobriu que os sistemas autônomos da OpenAI haviam atacado o Hugging Face durante os testes de segurança cibernética, um episódio que abalou o campo da IA ​​e aumentou a preocupação pública sobre o risco catastrófico. A Rival Anthropic disse na época que iria montar um programa semelhante.

O que os quatro avaliadores irão examinar

De acordo com a OpenAI, a Apollo Research avaliará se os modelos poderiam funcionar secretamente contra as intenções dos seus desenvolvedores e se as salvaguardas existentes detectariam tal comportamento. A Apollo está enviando seis pesquisadores durante quatro meses, testando quatro afirmações em dois estágios, incluindo se o treinamento incentivou a subversão e se os modelos tentaram a subversão durante o uso interno. Goodfire incorporará pesquisadores de interpretabilidade para analisar os componentes internos do modelo, monitorar execuções de treinamento e ajudar na depuração e alinhamento, atendendo principalmente aos próprios pesquisadores da OpenAI. O METR examinará a maior execução de aprendizado por reforço da OpenAI até o momento, procurando por comportamentos desalinhados que seus testes e monitores existentes possam ter perdido. A Transluce revisará a qualidade e a cobertura das avaliações de alinhamento pós-treinamento da OpenAI, com uma avaliação de acompanhamento de cerca de oito semanas planejada para o início de 2027.

A lacuna entre promessa e prática

Os pesquisadores dizem que os termos reais são muito mais restritos. “Os avaliadores têm escopos de acesso muito restritos e apenas dois deles parecem realmente ter permissão para falar com os funcionários”, disse Sydney Von Arx, fundador do grupo de pesquisa de segurança de IA Nightingale. Ninguém tem acesso ao sistema interno de mensagens Slack da empresa, disse ela, e os funcionários que não foram incluídos na lista de permissões da OpenAI não podem ter conversas substanciais com os avaliadores, a menos que a OpenAI seja incluída primeiro. “Imagine ser um funcionário e só ter permissão para falar sobre informações da empresa com colegas de trabalho na lista de permissões e não ter Slack”, disse ela.

De acordo com os protocolos publicados da OpenAI, as discussões com os funcionários são confidenciais: elas podem informar uma avaliação, mas não podem ser publicadas ou atribuídas. Os avaliadores podem pedir à OpenAI que emita declarações atestadas verificando o que aprenderam, e a OpenAI pode recusar. Os avaliadores podem publicar as suas conclusões, mas a OpenAI reserva-se o direito de redigir informações confidenciais e de solicitar atrasos na divulgação para que possa agir sobre as conclusões que possam representar riscos de segurança ou proteção.

Equipe de segurança demitida e o que vem a seguir

O anúncio ocorreu no momento em que a OpenAI demitiu três funcionários que trabalhavam com segurança. Um deles, Tomek Korbak, foi o ponto de contato técnico de dois avaliadores externos que investigaram o ataque Hugging Face. Os três disseram mais tarde temer que a OpenAI estivesse desistindo de sua promessa de avaliadores incorporados. Korbak escreveu no X que a auditoria incorporada “só cumprirá os seus objectivos se os auditores realmente obtiverem acesso ao nível dos funcionários, em vez de serem contratados para fazer um trabalho específico”, acrescentando que o post de Setembro de Altman sobre “acesso semelhante ao dos funcionários” foi “apenas uma promessa exagerada e estranha de que a empresa quer voltar atrás silenciosamente”.

Numa declaração à NPR, a OpenAI disse que atualmente não existem padrões para avaliações incorporadas e que espera aprofundar as relações ao longo do tempo e partilhar o que aprende para ajudar a estabelecer melhores práticas. A empresa disse que o esforço apoia os seus compromissos no âmbito do Acordo da Casa Branca sobre Superinteligência, ao abrigo do qual concordou com avaliações independentes dos seus controlos de segurança.

(Sede da OpenAI. Foto de arquivo.)

💬 Comments

No comments yet. Be the first!