METR : les modèles d'IA de pointe accomplissent désormais des tâches d'une semaine dans un cas sur deux

L'organisme d'évaluation METR a publié le 20 novembre sa dernière évaluation trimestrielle : GPT-6 Astra d'OpenAI et Claude Opus 5.5 d'Anthropic affichent un horizon temporel de 50 % d'environ 40 et 39 heures, contre 16 heures il y a six mois. Mais sur les tâches ouvertes exigeant du jugement, les modèles restent nettement derrière les humains.
L'organisme à but non lucratif d'évaluation de l'IA METR a publié le 20 novembre sa dernière évaluation trimestrielle des capacités (Time Horizon 2, ou TH2). Conclusion principale : GPT-6 Astra d'OpenAI et Claude Opus 5.5 d'Anthropic affichent désormais un horizon temporel de 50 % d'environ 40 heures et 39 heures respectivement — autrement dit, face à une tâche qui demanderait une semaine de travail complète à un expert humain qualifié, les meilleurs modèles ont désormais environ une chance sur deux de la réussir seuls. Il y a six mois, ce chiffre était de 16 heures.
Ce que signifient 40 heures
L'horizon temporel de METR ne mesure pas la durée pendant laquelle un modèle peut fonctionner sans interruption, mais la difficulté des tâches : la durée, en heures d'expert humain, à laquelle un modèle réussit environ la moitié du temps. Selon METR, ce chiffre double environ tous les 3,6 mois, avec un intervalle de confiance à 95 % de 2,08 à 4,94 mois. Le rapport précise aussi que, sur les tâches qu'ils réussissent, les modèles sont généralement plusieurs fois plus rapides que les humains — l'indicateur suit la frontière des capacités, pas le temps de travail.
Les meilleurs modèles surpassent les experts recrutés sur trois tests
Sur trois tâches de référence à notation automatique, le modèle le plus performant a surpassé chaque spécialiste recruté pour la même tâche : Reverse Conway, 0,208 pour le meilleur modèle contre 0,137 pour le meilleur expert recruté ; Minecraft Bot, 0,175 contre 0,055 ; et Train a Program, 0,443 contre 0,042. Les spécialistes recrutés ont consacré 39, 160 et 45 heures au total à ces trois tâches. La suite TH2 ajoute 36 tâches nouvelles réparties en 12 familles, combinées aux 222 tâches anciennes de TH1.1 et aux 75 tâches MirrorCode, couvrant l'ingénierie logicielle, l'apprentissage automatique et la cybersécurité.
Le jugement reste le point faible
Sur les tâches de recherche ouvertes, sans critère de notation clair, les modèles accusent un retard net. Dans le test « Making METR Tasks », aucun modèle n'a produit une conception d'évaluation jugée immédiatement utilisable par le personnel de METR ; dans un test de notation d'arguments philosophiques, les modèles sont également restés en deçà des humains. Les correcteurs IA se sont aussi révélés trop généreux envers les modèles les plus forts : dans un test, Opus 5.5 a noté le travail de GPT-6 Astra environ 0,2 point sur 1 de plus qu'un correcteur humain. En résumé, les modèles peuvent désormais égaler ou surpasser des humains qualifiés quand il existe une bonne réponse — mais là où le goût de la recherche et le jugement subjectif comptent, la véritable autonomie est encore loin.
L'incertitude derrière les chiffres
METR nuance ses propres chiffres : seulement 9 % des durées humaines proviennent d'une mesure chronométrée réelle, le reste étant des projections, et l'intervalle à 95 % autour de l'estimation de 40 heures va d'environ 12 heures à bien plus de 1 000 heures. Le rapport affirme que les preuves publiques sont trop minces pour exclure une forte accélération prochaine de la R-D en IA, et que l'équipe « reste très incertaine sur des questions centrales ». MIT Technology Review a déjà averti que le graphique de l'horizon temporel est largement partagé — et largement mal interprété.
Cette évaluation est considérée comme un repère clé pour juger la marche de l'IA vers la recherche autonome. METR assure également les évaluations de sécurité intégrées annoncées par OpenAI le 16 novembre, en surveillant la frontière des capacités. La conclusion est double : les progrès sur les tâches de programmation vérifiables sont frappants, mais le jugement — la capacité à faire de la recherche sans corrigé — n'a pas encore été franchi.
N環球 
💬 Commentaires
Aucun commentaire. Soyez le premier !