最强 AI 也只做对 12% 的工作?SemiAnalysis 新基准 GDPx 实测:206 项真实职场任务大考

研究机构 SemiAnalysis 11 月 2 日发布代理型基准 GDPx,让 13 个前沿模型在模拟职场里完成 206 项专业任务、每项限时 8 小时,结果最好的 Anthropic Claude Opus 5.5 也只完成 12.0%,金融与法律任务在二元评分下全军覆没;这份成绩单量的是任务难度与评测方式,而非 AI 一无是处。(配图为资料图片:AI 数据中心。)
研究机构 SemiAnalysis 11 月 2 日发布代理型基准 GDPx,把 13 个前沿 AI 模型放进模拟职场、要求它们真正动手完成 206 项专业任务,结果最好的模型也只完成 12.0%——Anthropic 的 Claude Opus 5.5 以 12.0% 居首,Google 的 Gemini 4 Carbon 以 10.9% 居次,OpenAI 的 GPT-6 Astra 以 9.6% 第三,最低的智谱 GLM 5.3 只有 2.7%。这不是说模型变差了,而是考题变诚实了:GDPx 考的是工作成果,不是问答。(配图为资料图片:AI 数据中心。)
考什么:11 个高回报领域、每项限时 8 小时
GDPx 涵盖晶片设计、硬体设计、网路安全、生物、金融、法律、量化交易、递回自我改进、材料科学、对齐与软体工程 11 个领域,任务按经济回报而非产值占比挑选。金融任务重建了一宗真实的私募交易——一支基金以约 8.8 亿美元加业绩对赌收购一家零食制造商约 62% 股权,模型得翻遍约 4,000 份匿名交易文件;网路安全任务直接对上带真实未修补漏洞的线上服务。每项任务预设限时 8 小时,模型用各自原生工具作答,如 Opus 用 Claude Code、GPT-6 Astra 用 Codex、Gemini 用 Antigravity,总分是三次尝试中首次通过率的平均、各领域等权。
各有专长,但金融与法律全军覆没
分项看,Opus 5.5 拿下量化交易、硬体设计与晶片设计,Gemini 4 Carbon 领先生物与软体工程,GPT-6 Astra 领先递回自我改进与材料科学。但在二元评分(做完才算过关)下,所有模型在金融与法律任务上全部得零分,SemiAnalysis 因此改用部分给分呈现这两类;量化交易 111 次评测中有 70 次跑输简单的参考策略,对齐任务 200 次中有 196 次至少违反一条行为规则。成本差距也很大:Opus 平均每项任务花 51.41 美元,Gemini 只要约三分之一、16.29 美元,GPT-6 Astra 最贵、53.99 美元却落后榜首 2.4 个百分点。
怎么读这 12%:三个保留
第一,GDPx 是 SemiAnalysis 的付费产品,合作方搭建的任务大多未经外部独立审计,首日所有数字都是发布方自己的报告。第二,SemiAnalysis 自己承认,Opus 5.5 与 GPT-6 Astra 在网路安全、生物与对齐三类任务上被自身安全分类器拖累分数,12% 因此偏保守。第三,GDPx 定位为 OpenAI 2025 年 9 月 GDPval 的接班人——后者只给提示、不给互动环境,与代理实际部署方式脱节;SemiAnalysis 计划每 3 至 6 个月更新一次,下一次读数才能看出这条线往哪走。
N環球 
💬 留言
暂时还没有留言,来抢沙发!