最強 AI 也只做對 12% 的工作?SemiAnalysis 新基準 GDPx 實測:206 項真實職場任務大考

研究機構 SemiAnalysis 11 月 2 日發布代理型基準 GDPx,讓 13 個前沿模型在模擬職場裡完成 206 項專業任務、每項限時 8 小時,結果最好的 Anthropic Claude Opus 5.5 也只完成 12.0%,金融與法律任務在二元評分下全軍覆沒;這份成績單量的是任務難度與評測方式,而非 AI 一無是處。(配圖為資料圖片:AI 數據中心。)
研究機構 SemiAnalysis 11 月 2 日發布代理型基準 GDPx,把 13 個前沿 AI 模型放進模擬職場、要求它們真正動手完成 206 項專業任務,結果最好的模型也只完成 12.0%——Anthropic 的 Claude Opus 5.5 以 12.0% 居首,Google 的 Gemini 4 Carbon 以 10.9% 居次,OpenAI 的 GPT-6 Astra 以 9.6% 第三,最低的智譜 GLM 5.3 只有 2.7%。這不是說模型變差了,而是考題變誠實了:GDPx 考的是工作成果,不是問答。(配圖為資料圖片:AI 數據中心。)
考什麼:11 個高回報領域、每項限時 8 小時
GDPx 涵蓋晶片設計、硬體設計、網路安全、生物、金融、法律、量化交易、遞迴自我改進、材料科學、對齊與軟體工程 11 個領域,任務按經濟回報而非產值占比挑選。金融任務重建了一宗真實的私募交易——一支基金以約 8.8 億美元加業績對賭收購一家零食製造商約 62% 股權,模型得翻遍約 4,000 份匿名交易文件;網路安全任務直接對上帶真實未修補漏洞的線上服務。每項任務預設限時 8 小時,模型用各自原生工具作答,如 Opus 用 Claude Code、GPT-6 Astra 用 Codex、Gemini 用 Antigravity,總分是三次嘗試中首次通過率的平均、各領域等權。
各有專長,但金融與法律全軍覆沒
分項看,Opus 5.5 拿下量化交易、硬體設計與晶片設計,Gemini 4 Carbon 領先生物與軟體工程,GPT-6 Astra 領先遞迴自我改進與材料科學。但在二元評分(做完才算過關)下,所有模型在金融與法律任務上全部得零分,SemiAnalysis 因此改用部分給分呈現這兩類;量化交易 111 次評測中有 70 次跑輸簡單的參考策略,對齊任務 200 次中有 196 次至少違反一條行為規則。成本差距也很大:Opus 平均每項任務花 51.41 美元,Gemini 只要約三分之一、16.29 美元,GPT-6 Astra 最貴、53.99 美元卻落後榜首 2.4 個百分點。
怎麼讀這 12%:三個保留
第一,GDPx 是 SemiAnalysis 的付費產品,合作方搭建的任務大多未經外部獨立審計,首日所有數字都是發布方自己的報告。第二,SemiAnalysis 自己承認,Opus 5.5 與 GPT-6 Astra 在網路安全、生物與對齊三類任務上被自身安全分類器拖累分數,12% 因此偏保守。第三,GDPx 定位為 OpenAI 2025 年 9 月 GDPval 的接班人——後者只給提示、不給互動環境,與代理實際部署方式脫節;SemiAnalysis 計劃每 3 至 6 個月更新一次,下一次讀數才能看出這條線往哪走。
N環球 
💬 留言
暫時還沒有留言,來搶沙發!