Ngay cả AI tốt nhất cũng chỉ hoàn thành 12% công việc thực tế trong tiêu chuẩn GDPx mới của SemiAnalysis

SemiAnalysis đã công bố một tiêu chuẩn tác nhân mới, GDPx, vào ngày 2 tháng 11, đặt 13 mô hình AI biên giới bên trong nơi làm việc mô phỏng và yêu cầu chúng thực sự thực hiện 206 nhiệm vụ chuyên môn - và mô hình tốt nhất chỉ hoàn thành 12,0%. Claude Opus 5.5 của Anthropic dẫn đầu với 12,0%, Gemini 4 Carbon của Google đứng thứ hai với 10,9%, GPT-6 Astra của OpenAI đứng thứ ba với 9,6% và mẫu được xếp hạng thấp nhất, GLM 5.3 của Z.ai, quản lý 2,7%. Đó không phải là câu chuyện về việc các mô hình ngày càng tệ hơn; đó là câu chuyện về việc trở nên trung thực trong bài kiểm tra: GDPx chấm điểm công việc chứ không phải đáp án bài kiểm tra. (Ảnh bìa là ảnh tệp của trung tâm dữ liệu AI.)

Những gì nó kiểm tra: 11 miền mang lại lợi nhuận cao, 8 giờ cho mỗi nhiệm vụ

GDPx bao gồm thiết kế chip, thiết kế phần cứng, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, tự cải tiến đệ quy, khoa học vật liệu, liên kết và công nghệ phần mềm – 11 lĩnh vực được chọn vì lợi tức đầu tư kinh tế thay vì tỷ trọng trong GDP. Nhiệm vụ tài chính của nó tái tạo lại một thỏa thuận cổ phần tư nhân thực sự, một quỹ mua khoảng 62% cổ phần của một nhà sản xuất đồ ăn nhẹ với giá khoảng 880 triệu đô la cộng với tiền kiếm được, trải rộng trên khoảng 4.000 tệp giao dịch ẩn danh mà mô hình phải xử lý; Các nhiệm vụ an ninh mạng chạy trên các dịch vụ trực tiếp có lỗ hổng thực sự chưa được vá. Nhiệm vụ có giới hạn mặc định là 8 giờ và các mô hình chạy bằng công cụ gốc nếu có — Claude Code cho Opus 5.5, Codex cho GPT-6 Astra, AntiGravity cho Gemini 4 Carbon — với điểm tiêu đề tính trung bình tỷ lệ vượt qua lần thử đầu tiên trong ba lần thử và tính trọng số như nhau cho mọi miền.

Các nhà lãnh đạo khác nhau theo miền; tài chính và pháp lý bằng không

Opus 5.5 giành được hoàn toàn giao dịch định lượng, thiết kế phần cứng và thiết kế chip; Gemini 4 Carbon dẫn đầu về sinh học và công nghệ phần mềm; GPT-6 Astra sử dụng khoa học vật liệu và tự cải tiến đệ quy. Nhưng theo phân loại nhị phân — một nhiệm vụ chỉ được tính nếu được hoàn thành từ đầu đến cuối — mọi mô hình đều đạt điểm 0 về cả tài chính và pháp lý, đó là lý do tại sao SemiAnalysis báo cáo điểm tín dụng một phần cho các miền đó. Trong giao dịch định lượng, 70 trong số 111 lần chạy được phân loại thực hiện kém hơn chiến lược tham chiếu đơn giản và trong các nhiệm vụ tập trung vào sự liên kết, 196 trong số 200 lần chạy đã vi phạm ít nhất một quy tắc hành vi. Chi phí thay đổi tùy theo khả năng: Opus 5,5 có giá trung bình là 51,41 USD cho mỗi nhiệm vụ, Gemini 4 Carbon gần bằng một phần ba số đó ở mức 16,29 USD và GPT-6 Astra đắt nhất với 53,99 USD cho mỗi nhiệm vụ với số điểm kém người dẫn đầu 2,4 điểm.

Cách đọc 12%: ba lưu ý

Đầu tiên, GDPx là một sản phẩm SemiAnalysis trả phí có nhiệm vụ do đối tác xây dựng chưa được kiểm tra độc lập, vì vậy vào ngày đầu tiên, mọi con số đều là báo cáo của chính nhà xuất bản. Thứ hai, bản thân SemiAnalysis cho biết Opus 5.5 và GPT-6 Astra bị cản trở bởi các bộ phân loại an toàn của chúng về các nhiệm vụ an ninh mạng, sinh học và căn chỉnh, khiến con số 12,0% trở nên thận trọng đối với các mô hình đó. Thứ ba, GDPx được định vị là người kế thừa GDPval của OpenAI từ tháng 9 năm 2025, mà SemiAnalysis cho rằng thuộc về thời kỳ tiền đại lý vì nó cung cấp cho mô hình tất cả bối cảnh mà không có sự tương tác; kế hoạch của công ty cập nhật ba đến sáu tháng một lần, vì vậy lần đọc tiếp theo sẽ cho biết đường di chuyển như thế nào.