Kahit na ang pinakamahusay na AI ay kumukumpleto lamang ng 12% ng mga tunay na trabaho sa bagong benchmark ng GDPx ng SemiAnalysis

Nag-publish ang SemiAnalysis ng bagong ahenteng benchmark, ang GDPx, noong Nobyembre 2, na naglalagay ng 13 frontier AI models sa loob ng mga simulate na lugar ng trabaho at hinihiling sa kanila na aktwal na gumawa ng 206 propesyonal na gawain — at ang pinakamahusay na modelo ay nakakumpleto lamang ng 12.0%. Nanguna ang Claude Opus 5.5 ng Anthropic sa 12.0%, pumangalawa ang Gemini 4 Carbon ng Google sa 10.9%, ang GPT-6 Astra ng OpenAI ay pangatlo sa 9.6%, at ang modelong may pinakamababang ranggo, ang GLM 5.3 ng Z.ai, ay nakakuha ng 2.7%. Iyon ay hindi isang kuwento tungkol sa mga modelo na lumalala; ito ay isang kuwento tungkol sa pagsubok sa pagiging tapat: GDPx grades trabaho, hindi pagsusulit sagot. (Ang larawan sa cover ay isang file na larawan ng isang AI data center.)

Ano ang sinusubok nito: 11 domain na may mataas na pagbabalik, walong oras bawat gawain

Sinasaklaw ng GDPx ang disenyo ng chip, disenyo ng hardware, cybersecurity, biology, finance, legal, quant trading, recursive self-improvement, materials science, alignment at software engineering — 11 domain ang pinili para sa economic return on investment sa halip na bahagi ng GDP. Ang mga gawain sa pananalapi nito ay muling buuin ang isang tunay na pribadong-equity deal, isang pondong bumibili ng humigit-kumulang 62% ng isang tagagawa ng meryenda para sa humigit-kumulang $880 milyon at isang kita, na kumalat sa humigit-kumulang 4,000 hindi nakikilalang mga file ng deal na dapat gawin ng modelo; ang mga gawain sa cybersecurity ay tumatakbo laban sa mga live na serbisyo na nagdadala ng mga tunay na hindi natatakpan na kahinaan. May walong oras na default na limitasyon ang mga gawain, at tumatakbo ang mga modelo sa kanilang native tooling kung saan available — Claude Code para sa Opus 5.5, Codex para sa GPT-6 Astra, Antigravity para sa Gemini 4 Carbon — na may marka ng headline na nag-a-average ng mga rate ng first-attempt pass sa tatlong pagsubok at pantay-pantay ang timbang sa bawat domain.

Iba't ibang mga pinuno ayon sa domain; pananalapi at legal sa zero

Ang Opus 5.5 ay nanalo ng quant trading, disenyo ng hardware at disenyo ng chip nang tahasan; Pinangunahan ng Gemini 4 Carbon ang biology at software engineering; Kinuha ng GPT-6 Astra ang recursive self-improvement at materials science. Ngunit sa ilalim ng binary grading — ang isang gawain ay mabibilang lamang kung nakumpleto nang dulo hanggang dulo — ang bawat modelo ay nakakuha ng zero sa parehong pananalapi at legal, kaya naman ang SemiAnalysis ay nag-uulat na lang ng mga partial-credit na marka para sa mga domain na iyon. Sa quant trading, 70 sa 111 graded run ang hindi gumanap sa isang simpleng reference na diskarte, at sa alignment-focused na mga gawain, 196 sa 200 run ang lumabag sa kahit isang behavioral rule. Ang mga gastos ay iba-iba nang kasing lawak ng kakayahan: Ang Opus 5.5 ay nag-average ng $51.41 bawat gawain, Gemini 4 Carbon humigit-kumulang isang katlo nito sa $16.29, at ang GPT-6 Astra ay ang pinakamahal sa $53.99 bawat gawain para sa iskor na 2.4 puntos sa likod ng pinuno.

Paano basahin ang 12%: tatlong caveat

Una, ang GDPx ay isang bayad na produkto ng SemiAnalysis na ang mga gawaing binuo ng kasosyo ay hindi pa nakapag-iisa na na-audit, kaya sa unang araw bawat numero ay sariling pag-uulat ng publisher. Pangalawa, sinabi mismo ng SemiAnalysis na ang Opus 5.5 at GPT-6 Astra ay pinipigilan ng kanilang mga safety classifier sa cybersecurity, biology at alignment na mga gawain, na ginagawang konserbatibo ang 12.0% figure para sa mga modelong iyon. Pangatlo, ang GDPx ay nakaposisyon bilang kahalili sa GDPval ng OpenAI mula Setyembre 2025, na sinasabi ng SemiAnalysis na kabilang sa panahon ng pre-agent dahil ibinibigay nito ang modelo sa lahat ng konteksto sa harap nang walang pakikipag-ugnayan; ang mga plano ng kompanya ay nag-a-update tuwing tatlo hanggang anim na buwan, kaya ang susunod na pagbabasa ay magpapakita kung saang direksyon gumagalaw ang linya.