Навіть найкращий штучний інтелект виконує лише 12% реальних завдань у новому тесті SemiAnalysis GDPx

2 листопада компанія SemiAnalysis опублікувала новий агентський тест GDPx, помістивши 13 передових моделей штучного інтелекту в змодельовані робочі місця та попросивши їх фактично виконати 206 професійних завдань — і найкраща модель виконала лише 12,0%. Claude Opus 5.5 від Anthropic лідирує з 12,0%, Gemini 4 Carbon від Google посів друге місце з 10,9%, GPT-6 Astra від OpenAI третє з 9,6%, а модель з найнижчим рейтингом, Z.ai GLM 5.3, досягла 2,7%. Це не історія про те, що моделі стають гіршими; це історія про те, як тест стає чесним: GDPx оцінює роботу, а не відповіді на іспитах. (Обкладинка – це фото центру обробки даних AI.)

Що він перевіряє: 11 доменів із високою віддачею, вісім годин на завдання

GDPx охоплює дизайн чіпів, дизайн апаратного забезпечення, кібербезпеку, біологію, фінанси, право, кількісну торгівлю, рекурсивне самовдосконалення, матеріалознавство, вирівнювання та розробку програмного забезпечення — 11 областей, обраних для економічного повернення інвестицій, а не частки ВВП. Його фінансові завдання реконструюють справжню угоду приватного капіталу, фонд купує приблизно 62% виробника снеків приблизно за 880 мільйонів доларів США плюс прибуток, розподілений між приблизно 4000 анонімними файлами угод, які модель повинна опрацювати; Завдання кібербезпеки виконуються проти діючих служб, які містять реальні невиправлені вразливості. Завдання мають восьмигодинний ліміт за замовчуванням, а моделі запускаються у своїх рідних інструментах, якщо вони доступні — Claude Code для Opus 5.5, Codex для GPT-6 Astra, Antigravity для Gemini 4 Carbon — із заголовною оцінкою, яка усереднює показники проходження з першої спроби за три спроби та однаково зважує кожен домен.

Різні лідери за доменом; фінанси та право на нулі

Opus 5.5 переміг у кількісній торгівлі, дизайні апаратного забезпечення та дизайні мікросхем; Gemini 4 Carbon led біологія та розробка програмного забезпечення; GPT-6 Astra взяла рекурсивне самовдосконалення та матеріалознавство. Але за умов бінарної оцінки — завдання зараховується, лише якщо воно виконане до кінця — кожна модель отримала нуль балів як у фінансовому, так і в юридичному відношенні, тому SemiAnalysis натомість повідомляє часткові кредитні бали для цих доменів. У кількісній торгівлі 70 із 111 градуйованих прогонів показали нижчу ефективність простої еталонної стратегії, а в завданнях, орієнтованих на вирівнювання, 196 із 200 прогонів порушили принаймні одне правило поведінки. Витрати варіювалися так само широко, як і можливості: Opus 5.5 становив у середньому 51,41 долара за завдання, Gemini 4 Carbon — приблизно третину цього показника — 16,29 долара, а GPT-6 Astra був найдорожчим — 53,99 долара за завдання з відставанням від лідера на 2,4 бали.

Як читати 12%: три застереження

По-перше, GDPx — це платний продукт SemiAnalysis, чиї завдання, розроблені партнерами, не пройшли незалежний аудит, тому в перший день кожна цифра є власним звітом видавця. По-друге, сам SemiAnalysis каже, що Opus 5.5 і GPT-6 Astra стримуються їхніми класифікаторами безпеки щодо завдань кібербезпеки, біології та узгодження, що робить цифру 12,0% консервативною для цих моделей. По-третє, GDPx позиціонується як наступник GDPval OpenAI від вересня 2025 року, який, як стверджує SemiAnalysis, належить до доагентної ери, оскільки він передає моделі весь контекст наперед без взаємодії; плани фірми оновлюються кожні три-шість місяців, тож наступне читання покаже, у якому напрямку рухається лінія.