Atualização METR: modelos de IA de fronteira agora concluem tarefas de uma semana na metade do tempo

O avaliador de IA sem fins lucrativos METR publicou sua última avaliação trimestral em 20 de novembro: GPT-6 Astra da OpenAI e Claude Opus 5.5 da Anthropic agora têm um horizonte de tempo de 50% de cerca de 40 e 39 horas, respectivamente, acima das 16 horas de seis meses atrás. Mas em tarefas abertas que exigem julgamento de investigação, os modelos ainda estão muito atrás dos humanos.
A organização sem fins lucrativos de avaliação de IA METR publicou sua última avaliação trimestral de capacidade (Time Horizon 2, ou TH2) em 20 de novembro. Sua principal descoberta: GPT-6 Astra da OpenAI e Claude Opus 5.5 da Anthropic agora têm um horizonte de tempo de 50% de cerca de 40 horas e 39 horas, respectivamente - o que significa que, diante de uma tarefa que levaria uma semana inteira de trabalho para um especialista humano qualificado, os modelos líderes agora têm cerca de cinquenta por cento de chance de conclusão. por conta própria. Há seis meses, esse número era de 16 horas.
O que significa 40 horas
O horizonte temporal do METR não mede quanto tempo um modelo pode funcionar continuamente. Ele mede a dificuldade da tarefa: a duração da tarefa, em horas de especialistas humanos, na qual um modelo é bem-sucedido em cerca de metade das vezes. O METR afirma que o número duplica aproximadamente a cada 3,6 meses, com um intervalo de confiança de 95% de 2,08 a 4,94 meses. O relatório também observa que nas tarefas que completam, os modelos são normalmente várias vezes mais rápidos que os humanos – a métrica rastreia a fronteira de capacidade, não as horas de trabalho.
Os principais modelos venceram os especialistas contratados em três benchmarks
Em três tarefas de benchmark pontuadas automaticamente, o modelo com melhor desempenho superou todos os especialistas contratados para a mesma tarefa: Reverse Conway, 0,208 para o modelo top contra 0,137 para o melhor recruta; Minecraft Bot, 0,175 contra 0,055; e Treine um Programa, 0,443 contra 0,042. Os especialistas contratados registraram 39, 160 e 45 horas de trabalho total nas três tarefas. O pacote TH2 adiciona 36 tarefas recém-criadas em 12 famílias de tarefas, combinadas com 222 tarefas mais antigas em TH1.1 e 75 tarefas MirrorCode, abrangendo engenharia de software, aprendizado de máquina e segurança cibernética.
O julgamento continua sendo o ponto fraco
Em tarefas de investigação abertas sem um padrão de pontuação claro, os modelos ficam claramente atrasados. No teste “Realizando Tarefas do METR”, nenhum modelo produziu um projeto de avaliação que a equipe do METR considerasse imediatamente utilizável; num teste que pontuou argumentos filosóficos, os modelos também ficaram aquém dos humanos. Os avaliadores de IA também foram considerados muito generosos com modelos mais fortes: em um teste, o Opus 5.5 pontuou o trabalho do GPT-6 Astra cerca de 0,2 pontos em 1 a mais do que um avaliador humano. Em suma, os modelos podem agora igualar ou superar humanos qualificados onde existe uma resposta certa – mas onde o gosto pela investigação e o julgamento subjetivo são necessários, a autonomia genuína ainda está um pouco distante.
A incerteza por trás dos números
O METR desconta os seus próprios números: apenas 9% dos tempos de tarefas humanas provêm de uma linha de base cronometrada real, o resto são projeções, e o intervalo de 95% em torno da estimativa pontual de 40 horas vai de cerca de 12 horas a bem mais de 1.000 horas. O relatório afirma que as evidências públicas são demasiado escassas para excluir uma grande aceleração na investigação e desenvolvimento de IA em breve, e que a equipa “permanece significativamente incerta sobre questões centrais”. A MIT Technology Review alertou anteriormente que o gráfico do horizonte temporal é amplamente compartilhado – e amplamente mal interpretado.
A avaliação é vista como uma coordenada fundamental para julgar o caminho da IA em direção à pesquisa autônoma. O METR também executa as avaliações de segurança incorporadas que a OpenAI anunciou em 16 de novembro, continuando a monitorar a fronteira de capacidade. A conclusão é de ambos os lados: o progresso em tarefas de programação verificáveis é impressionante, mas o julgamento – a capacidade de fazer investigação sem uma chave de resposta clara – ainda não foi ultrapassado.
N環球 
💬 Comments
No comments yet. Be the first!