セミアナリシスの新しい GDPx ベンチマークでは、最高の AI であっても実際の仕事の 12% しか完了できません

SemiAnalysis は 11 月 2 日に新しいエージェント ベンチマーク GDPx を発表しました。このベンチマークでは、シミュレートされた職場内に 13 のフロンティア AI モデルを配置し、実際に 206 の専門的タスクを実行するように求められました。そして、最良のモデルはわずか 12.0% しか完了しませんでした。 Anthropic の Claude Opus 5.5 が 12.0% でトップ、Google の Gemini 4 Carbon が 10.9% で 2 位、OpenAI の GPT-6 Astra が 9.6% で 3 位、そして最下位のモデルである Z.ai の GLM 5.3 は 2.7% でした。これはモデルが悪くなっているという話ではありません。これは、テストが正直になるという話です。GDPx は試験の答えではなく、雇用を評価します。 （カバー写真はAIデータセンターのファイル写真です。）

テスト内容: 11 の高収益ドメイン、タスクごとに 8 時間

GDPx は、チップ設計、ハードウェア設計、サイバーセキュリティ、生物学、金融、法律、クオンツ取引、再帰的自己改善、材料科学、アラインメント、ソフトウェア エンジニアリングに及びます。これら 11 の領域は、GDP のシェアではなく、経済的な投資収益率を重視して選ばれています。その財務タスクは、実際のプライベート・エクイティ取引を再構築するもので、ファンドがスナックメーカーの約62%を約8億8,000万ドルと利益で買収するもので、モデルが処理する必要がある約4,000の匿名化された取引ファイルにまたがっています。サイバーセキュリティ タスクは、パッチが適用されていない実際の脆弱性を抱えたライブ サービスに対して実行されます。タスクにはデフォルトで 8 時間の制限があり、モデルは利用可能なネイティブ ツール (Opus 5.5 の Claude Code、GPT-6 Astra の Codex、Gemini 4 Carbon の Antigravity) で実行されます。ヘッドライン スコアは 3 回の試行にわたる初回試行の合格率を平均し、すべてのドメインを均等に重み付けします。

ドメインごとに異なるリーダー。財務と法務はゼロ

Opus 5.5 はクオンツ取引、ハードウェア設計、チップ設計を完全に勝ち取りました。 Gemini 4 Carbon は生物学とソフトウェア工学を主導しました。 GPT-6 アストラは、再帰的な自己改善と材料科学を取り入れました。しかし、バイナリ グレーディング (タスクはエンドツーエンドで完了した場合にのみカウントされる) では、財務と法務の両方ですべてのモデルのスコアがゼロでした。そのため、SemiAnalysis はこれらのドメインの部分信用スコアを代わりに報告します。クオンツ取引では、グレーディング実行 111 件中 70 件が単純な参照戦略を下回り、アライメント重視のタスクでは、200 件の実行中 196 件が少なくとも 1 つの行動ルールに違反しました。コストは能力に応じて大きく異なります。Opus 5.5 はタスクあたり平均 51.41 ドル、Gemini 4 Carbon はその約 3 分の 1 の 16.29 ドル、GPT-6 Astra はタスクあたり 53.99 ドルで最も高価で、スコアはリーダーに 2.4 ポイント差でした。

12%の読み方：3つの注意点

まず、GDPx は有料の SemiAnalysis 製品であり、そのパートナーが構築したタスクは独立した監査を受けていないため、初日のすべての数値は発行者独自のレポートになります。第二に、セミアナリシス社自体は、Opus 5.5 と GPT-6 Astra はサイバーセキュリティ、生物学、アライメントタスクに関する安全性分類によって抑制されており、これらのモデルの 12.0% という数字は保守的であると述べています。第三に、GDPx は、2025 年 9 月から OpenAI の GDPval の後継として位置付けられますが、セミアナリシスは、対話なしでモデルにすべてのコンテキストを事前に渡すため、エージェント以前の時代に属すると主張しています。同社は 3 ～ 6 か月ごとに更新することを計画しているため、次回の読み取りでラインがどの方向に移動するかがわかります。