Même la meilleure IA ne réussit que 12 % des tâches réelles dans le nouveau test GDPx de SemiAnalysis

SemiAnalysis a publié le 2 novembre un nouveau test pour agents, GDPx, qui place 13 modèles d'IA de pointe dans des lieux de travail simulés et leur demande d'accomplir réellement 206 tâches professionnelles — et le meilleur modèle n'en a réussi que 12,0 %. Le Claude Opus 5.5 d'Anthropic arrive en tête avec 12,0 %, devant le Gemini 4 Carbon de Google à 10,9 % et le GPT-6 Astra d'OpenAI à 9,6 % ; le modèle le moins bien classé, le GLM 5.3 de Z.ai, n'atteint que 2,7 %. Ce n'est pas l'histoire de modèles qui régressent, mais celle d'un test devenu honnête : GDPx note des emplois, pas des copies d'examen. (La photo de couverture est une photo d'archives d'un centre de données pour l'IA.)

Ce qui est testé : 11 domaines à fort rendement, huit heures par tâche

GDPx couvre la conception de puces, la conception matérielle, la cybersécurité, la biologie, la finance, le droit, le trading quantitatif, l'auto-amélioration récursive, la science des matériaux, l'alignement et le génie logiciel — 11 domaines choisis pour leur retour sur investissement économique plutôt que pour leur part du PIB. Ses tâches financières reconstituent une véritable opération de capital-investissement : un fonds rachetant environ 62 % d'un fabricant de snacks pour quelque 880 millions de dollars plus un complément de prix, répartis dans environ 4 000 dossiers anonymisés que le modèle doit exploiter ; les tâches de cybersécurité s'exécutent contre des services en ligne présentant de vraies vulnérabilités non corrigées. Les tâches ont une limite par défaut de huit heures, et les modèles utilisent leurs outils natifs quand ils existent — Claude Code pour Opus 5.5, Codex pour GPT-6 Astra, Antigravity pour Gemini 4 Carbon — le score principal moyennant les taux de réussite au premier essai sur trois tentatives, chaque domaine pesant autant.

Des leaders différents selon les domaines ; zéro en finance et en droit

Opus 5.5 remporte le trading quantitatif, la conception matérielle et la conception de puces ; Gemini 4 Carbon mène en biologie et en génie logiciel ; GPT-6 Astra s'impose en auto-amélioration récursive et en science des matériaux. Mais selon la notation binaire — une tâche ne compte que si elle est menée à bien de bout en bout — tous les modèles obtiennent zéro en finance comme en droit, ce qui explique pourquoi SemiAnalysis publie plutôt des scores avec crédit partiel pour ces domaines. En trading quantitatif, 70 des 111 évaluations notées ont fait moins bien qu'une simple stratégie de référence, et dans les tâches axées sur l'alignement, 196 des 200 exécutions ont enfreint au moins une règle de comportement. Les coûts varient autant que les capacités : Opus 5.5 coûte en moyenne 51,41 dollars par tâche, Gemini 4 Carbon environ un tiers de ce montant, soit 16,29 dollars, et GPT-6 Astra est le plus cher, à 53,99 dollars par tâche, pour un score inférieur de 2,4 points à celui du leader.

Comment lire ce 12 % : trois réserves

Premièrement, GDPx est un produit payant de SemiAnalysis dont les tâches, construites par des partenaires, n'ont pas fait l'objet d'un audit indépendant ; au premier jour, tous les chiffres sont donc ceux de l'éditeur lui-même. Deuxièmement, SemiAnalysis reconnaît elle-même que les classificateurs de sécurité d'Opus 5.5 et de GPT-6 Astra les pénalisent sur les tâches de cybersécurité, de biologie et d'alignement, ce qui rend le chiffre de 12,0 % prudent pour ces modèles. Troisièmement, GDPx se présente comme le successeur du GDPval d'OpenAI de septembre 2025, qui, selon SemiAnalysis, appartient à l'ère pré-agents parce qu'il fournit tout le contexte d'emblée sans interaction ; l'entreprise prévoit des mises à jour tous les trois à six mois, et la prochaine mesure indiquera dans quel sens la courbe évolue.