최고의 AI라도 SemiAnalytic의 새로운 GDPx 벤치마크에서는 실제 작업의 12%만 완료합니다.

SemiAnalytics는 11월 2일에 새로운 에이전트 벤치마크인 GDPx를 발표하여 13개의 프론티어 AI 모델을 시뮬레이션된 작업 공간에 배치하고 실제로 206개의 전문 작업을 수행하도록 요청했으며 최고의 모델은 12.0%만 완료했습니다. Anthropic의 Claude Opus 5.5가 12.0%로 1위, Google의 Gemini 4 Carbon이 10.9%로 2위, OpenAI의 GPT-6 Astra가 9.6%로 3위, 최하위 모델인 Z.ai의 GLM 5.3이 2.7%를 기록했습니다. 그것은 모델이 점점 더 나빠진다는 이야기가 아닙니다. 시험이 정직해지는 것에 대한 이야기입니다. GDPx는 시험 답안이 아닌 직업의 등급을 매깁니다. (표지 사진은 AI 데이터센터 파일사진입니다.)

테스트 내용: 고수익 도메인 11개, 작업당 8시간

GDPx는 칩 설계, 하드웨어 설계, 사이버 보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기 개선, 재료 과학, 정렬 및 소프트웨어 엔지니어링을 포괄하며, GDP 점유율보다는 경제적 투자 수익을 위해 선택된 11개 영역입니다. 재무 작업은 모델이 처리해야 하는 약 4,000개의 익명 처리된 거래 파일에 걸쳐 약 8억 8천만 달러에 수익을 더한 스낵 제조업체의 약 62%를 구매하는 펀드인 실제 사모 펀드 거래를 재구성합니다. 사이버 보안 작업은 패치가 적용되지 않은 실제 취약점이 있는 라이브 서비스에 대해 실행됩니다. 작업에는 8시간의 기본 제한이 있으며, 모델은 Opus 5.5용 Claude Code, GPT-6 Astra용 Codex, Gemini 4 Carbon용 Antigravity 등 사용 가능한 경우 기본 도구에서 실행됩니다. 헤드라인 점수는 3번의 시도에 대한 첫 번째 시도 통과율을 평균하고 모든 도메인에 동일한 가중치를 부여합니다.

영역별로 리더가 다릅니다. 금융과 법률은 제로

Opus 5.5는 퀀트 트레이딩, 하드웨어 설계 및 칩 설계를 전면적으로 수행합니다. Gemini 4 Carbon은 생물학 및 소프트웨어 엔지니어링을 주도했습니다. GPT-6 Astra는 재귀적 자기 개선과 재료 과학을 수강했습니다. 그러나 작업이 처음부터 끝까지 완료된 경우에만 계산되는 이진 등급에서는 모든 모델이 재무 및 법률 모두에서 0점을 얻었습니다. 이것이 바로 SemiAnalytic이 해당 도메인에 대해 부분 학점 점수를 대신 보고하는 이유입니다. 퀀트 트레이딩에서는 111개의 등급 실행 중 70개가 간단한 참조 전략보다 성과가 낮았고, 정렬 중심 작업에서는 200개의 실행 중 196개가 하나 이상의 행동 규칙을 위반했습니다. 비용은 기능에 따라 다양했습니다. Opus 5.5는 작업당 평균 51.41달러, Gemini 4 Carbon은 약 3분의 1인 16.29달러, GPT-6 Astra는 작업당 53.99달러로 가장 비쌌으며 리더보다 2.4점 뒤처졌습니다.

12%를 읽는 방법: 세 가지 주의 사항

첫째, GDPx는 파트너가 구축한 작업이 독립적으로 감사되지 않은 유료 SemiAnalytic 제품이므로 첫 번째 날에는 모든 숫자가 게시자의 자체 보고입니다. 둘째, SemiAnalytics 자체에서는 Opus 5.5 및 GPT-6 Astra가 사이버 보안, 생물학 및 정렬 작업에 대한 안전 분류기에 의해 보류되어 해당 모델에 대한 12.0% 수치를 보수적으로 만든다고 말합니다. 셋째, GDPx는 2025년 9월부터 OpenAI의 GDPval의 후속 제품으로 자리 잡았습니다. SemiAnalytic은 상호 작용 없이 모든 컨텍스트를 모델에 전달하기 때문에 에이전트 이전 시대에 속한다고 주장합니다. 회사 계획은 3~6개월마다 업데이트되므로 다음 판독에서는 라인이 어떤 방향으로 움직이는지 확인할 수 있습니다.