Actualización de METR: los modelos de IA fronterizos ahora terminan tareas de una semana aproximadamente la mitad del tiempo

El evaluador de IA sin fines de lucro METR publicó su última evaluación trimestral el 20 de noviembre: GPT-6 Astra de OpenAI y Claude Opus 5.5 de Anthropic ahora tienen un horizonte temporal del 50% de aproximadamente 40 y 39 horas respectivamente, en comparación con las 16 horas de hace seis meses. Pero en tareas abiertas que requieren juicio de investigación, los modelos todavía están muy por detrás de los humanos.
La organización de evaluación de IA sin fines de lucro METR publicó su última evaluación de capacidad trimestral (Time Horizon 2, o TH2) el 20 de noviembre. Su hallazgo principal: GPT-6 Astra de OpenAI y Claude Opus 5.5 de Anthropic ahora tienen un horizonte temporal del 50% de aproximadamente 40 horas y 39 horas respectivamente, lo que significa que, frente a una tarea que requeriría a un experto humano calificado una semana laboral completa, los modelos líderes ahora tienen aproximadamente una probabilidad de cincuenta por ciento de completándolo por su cuenta. Hace seis meses, esa cifra era de 16 horas.
¿Qué significan 40 horas?
El horizonte temporal de METR no mide cuánto tiempo puede funcionar un modelo de forma continua. Mide la dificultad de la tarea: la duración de la tarea, en horas de experto humano, en la que un modelo tiene éxito aproximadamente la mitad de las veces. METR dice que la cifra se duplica aproximadamente cada 3,6 meses, con un intervalo de confianza del 95% de 2,08 a 4,94 meses. El informe también señala que en las tareas que completan, los modelos suelen ser varias veces más rápidos que los humanos: la métrica rastrea la frontera de capacidad, no las horas de trabajo.
Las mejores modelos superan a los expertos contratados en tres puntos de referencia
En tres tareas de referencia calificadas automáticamente, el modelo con mejor desempeño venció a todos los especialistas contratados para la misma tarea: Reverse Conway, 0,208 para el modelo superior frente a 0,137 para el mejor recluta; Bot de Minecraft, 0,175 frente a 0,055; y Entrenar un programa, 0,443 frente a 0,042. Los especialistas contratados registraron 39, 160 y 45 horas de trabajo total en las tres tareas. La suite TH2 agrega 36 tareas de nueva creación en 12 familias de tareas, combinadas con 222 tareas más antiguas en TH1.1 y 75 tareas MirrorCode, que abarcan ingeniería de software, aprendizaje automático y ciberseguridad.
El juicio sigue siendo el punto débil
En tareas de investigación abiertas sin un estándar de puntuación claro, los modelos están claramente retrasados. En la prueba 'Realización de tareas METR', ningún modelo produjo un diseño de evaluación que el personal de METR considerara utilizable de inmediato; en una prueba que calificaba argumentos filosóficos, los modelos tampoco alcanzaron a los humanos. También se descubrió que los evaluadores de IA eran demasiado generosos con los modelos más fuertes: en una prueba, Opus 5.5 calificó el trabajo de GPT-6 Astra aproximadamente 0,2 puntos sobre 1 más que un evaluador humano. En resumen, los modelos ahora pueden igualar o superar a humanos capacitados cuando hay una respuesta correcta, pero cuando se necesita gusto en la investigación y juicio subjetivo, la autonomía genuina aún está lejos.
La incertidumbre detrás de los números
METR descuenta sus propias cifras: sólo el 9% de los tiempos de las tareas humanas provienen de una línea de base cronometrada real, el resto son proyecciones, y el intervalo del 95% alrededor de la estimación puntual de 40 horas va desde aproximadamente 12 horas hasta más de 1.000 horas. El informe dice que la evidencia pública es demasiado escasa para descartar una gran aceleración en la investigación y el desarrollo de la IA en el corto plazo, y que el equipo "sigue siendo significativamente incierto acerca de las cuestiones centrales". MIT Technology Review advirtió anteriormente que el gráfico de horizonte temporal es ampliamente compartido y ampliamente malinterpretado.
La evaluación se considera una coordenada clave para juzgar el camino de la IA hacia la investigación autónoma. METR también ejecuta las evaluaciones de seguridad integradas que OpenAI anunció el 16 de noviembre y continúa monitoreando la frontera de capacidad. La conclusión es bidireccional: el progreso en tareas de programación verificables es sorprendente, pero el juicio (la capacidad de realizar investigaciones sin una clave de respuestas clara) aún no se ha cruzado.
N環球 
💬 Comments
No comments yet. Be the first!