Mesmo a melhor IA completa apenas 12% dos empregos reais no novo benchmark GDPx da SemiAnalysis

A SemiAnalysis publicou um novo benchmark de agência, GDPx, em 2 de novembro, colocando 13 modelos de IA de ponta em locais de trabalho simulados e pedindo-lhes que realmente realizassem 206 tarefas profissionais – e o melhor modelo completou apenas 12,0%. Claude Opus 5.5 da Anthropic liderou com 12,0%, Gemini 4 Carbon do Google ficou em segundo lugar com 10,9%, o GPT-6 Astra da OpenAI em terceiro com 9,6%, e o modelo com classificação mais baixa, GLM 5.3 da Z.ai, conseguiu 2,7%. Esta não é uma história sobre modelos piorando; é uma história sobre o teste ser honesto: o GDPx avalia os empregos, não as respostas dos exames. (A foto da capa é uma foto de arquivo de um data center de IA.)

O que testa: 11 domínios de alto retorno, oito horas por tarefa

O GDPx abrange design de chips, design de hardware, segurança cibernética, biologia, finanças, jurídico, comércio quantitativo, autoaperfeiçoamento recursivo, ciência de materiais, alinhamento e engenharia de software – 11 domínios escolhidos pelo retorno econômico do investimento em vez da participação no PIB. As suas tarefas financeiras reconstroem um verdadeiro acordo de private equity, um fundo que compra cerca de 62% de um fabricante de snacks por cerca de 880 milhões de dólares mais ganhos, distribuídos por cerca de 4.000 ficheiros de negócios anónimos através dos quais o modelo tem de trabalhar; as tarefas de segurança cibernética são executadas em serviços ativos que carregam vulnerabilidades reais não corrigidas. As tarefas têm um limite padrão de oito horas e os modelos são executados em suas ferramentas nativas quando disponíveis – Claude Code para Opus 5.5, Codex para GPT-6 Astra, Antigravity para Gemini 4 Carbon – com a pontuação do título calculando a média das taxas de aprovação na primeira tentativa em três tentativas e ponderando cada domínio igualmente.

Diferentes líderes por domínio; finanças e jurídico em zero

O Opus 5.5 venceu a negociação quantitativa, o design de hardware e o design de chips; Gemini 4 Carbon liderou biologia e engenharia de software; O GPT-6 Astra adotou o autoaperfeiçoamento recursivo e a ciência dos materiais. Mas na classificação binária – uma tarefa só conta se for concluída de ponta a ponta – cada modelo obteve pontuação zero tanto em finanças quanto em jurídico, e é por isso que o SemiAnalysis reporta pontuações de crédito parcial para esses domínios. Na negociação quantitativa, 70 das 111 execuções classificadas tiveram desempenho inferior ao de uma estratégia de referência simples e, em tarefas focadas no alinhamento, 196 das 200 execuções quebraram pelo menos uma regra comportamental. Os custos variaram tanto quanto a capacidade: Opus 5.5 custou em média US$ 51,41 por tarefa, Gemini 4 Carbon cerca de um terço disso, US$ 16,29, e GPT-6 Astra foi o mais caro, US$ 53,99 por tarefa, com uma pontuação de 2,4 pontos atrás do líder.

Como ler os 12%: três advertências

Primeiro, o GDPx é um produto SemiAnalysis pago cujas tarefas criadas por parceiros não foram auditadas de forma independente, portanto, no primeiro dia, cada número é o relatório do próprio editor. Em segundo lugar, a própria SemiAnalysis diz que o Opus 5.5 e o GPT-6 Astra são retidos pelos seus classificadores de segurança em tarefas de segurança cibernética, biologia e alinhamento, tornando o número de 12,0% conservador para esses modelos. Terceiro, o GDPx está posicionado como o sucessor do GDPval da OpenAI de setembro de 2025, que a SemiAnalysis argumenta pertencer à era pré-agente porque entrega ao modelo todo o contexto antecipadamente, sem interação; a empresa planeja atualizações a cada três ou seis meses, então a próxima leitura mostrará para que lado a linha se move.