Даже самый лучший ИИ выполняет только 12% реальных заданий в новом тесте GDPx от SemiAnalysis.

2 ноября компания SemiAnaлиз опубликовала новый тест агентов GDPx, в котором 13 передовых моделей ИИ разместили на смоделированных рабочих местах и попросили их фактически выполнить 206 профессиональных задач — и лучшая модель выполнила только 12,0%. Claude Opus 5.5 от Anthropic лидировал с 12,0%, Gemini 4 Carbon от Google занял второе место с 10,9%, GPT-6 Astra от OpenAI - третье с 9,6%, а модель с самым низким рейтингом, GLM 5.3 от Z.ai, получила 2,7%. Это не история об ухудшении моделей; это история о том, как тест становится честным: GDPx оценивает работу, а не ответы на экзаменах. (Фото на обложке — это фотография центра обработки данных искусственного интеллекта.)

Что тестируется: 11 высокодоходных доменов, восемь часов на задачу.

GDPx охватывает проектирование микросхем, проектирование аппаратного обеспечения, кибербезопасность, биологию, финансы, юриспруденцию, квантовую торговлю, рекурсивное самосовершенствование, материаловедение, настройку и разработку программного обеспечения — 11 областей, выбранных для экономической отдачи от инвестиций, а не доли ВВП. Ее финансовые задачи реконструируют реальную сделку с частным капиталом: фонд покупает примерно 62% производителя закусок примерно за 880 миллионов долларов плюс прибыль, распределенную по примерно 4000 анонимным файлам сделок, через которые модель должна пройти; Задачи кибербезопасности выполняются в отношении действующих сервисов, имеющих реальные неисправленные уязвимости. Задачи имеют ограничение по умолчанию в восемь часов, а модели запускаются с использованием собственных инструментов, если они доступны — Claude Code для Opus 5.5, Codex для GPT-6 Astra, Antigravity для Gemini 4 Carbon — при этом в заголовке указывается средний показатель успешности с первой попытки за три попытки и одинаковый вес для каждого домена.

Разные лидеры по доменам; финансы и юриспруденция на нуле

Opus 5.5 безоговорочно выиграл квантовую торговлю, разработку аппаратного обеспечения и разработку микросхем; Gemini 4 Carbon руководил биологией и разработкой программного обеспечения; GPT-6 Astra взяла курс на рекурсивное самосовершенствование и материаловедение. Но при бинарной оценке (задача засчитывается только в том случае, если она выполнена полностью) каждая модель получила нулевую оценку как по финансам, так и по юридическим вопросам, поэтому вместо этого SemiAnalice сообщает о частичной кредитной оценке для этих областей. В количественном трейдинге 70 из 111 оцененных прогонов не показали результатов простой эталонной стратегии, а в задачах, ориентированных на выравнивание, 196 из 200 прогонов нарушили хотя бы одно поведенческое правило. Затраты варьировались так же широко, как и возможности: Opus 5.5 стоил в среднем 51,41 доллара за задачу, Gemini 4 Carbon составлял примерно треть этой суммы — 16,29 доллара, а GPT-6 Astra была самой дорогой — 53,99 доллара за задачу, отставая от лидера на 2,4 балла.

Как читать 12%: три предостережения

Во-первых, GDPx — это платный продукт SemiAnalysis, задачи которого, созданные партнерами, не подвергались независимому аудиту, поэтому в первый день каждое число является собственным отчетом издателя. Во-вторых, сам SemiAnalysis утверждает, что Opus 5.5 и GPT-6 Astra сдерживаются своими классификаторами безопасности в отношении задач кибербезопасности, биологии и согласования, что делает цифру в 12,0% консервативной для этих моделей. В-третьих, GDPx позиционируется как преемник GDPval от OpenAI, выпущенного в сентябре 2025 года, который, по утверждению SemiAnaанализа, относится к эпохе до агентов, поскольку передает модели весь контекст заранее без какого-либо взаимодействия; Фирма планирует обновлять данные каждые три-шесть месяцев, поэтому следующие данные покажут, в каком направлении движется линия.