यहां तक कि सर्वश्रेष्ठ एआई सेमीएनालिसिस के नए जीडीपीएक्स बेंचमार्क में वास्तविक नौकरियों का केवल 12% ही पूरा करता है

सेमीएनालिसिस ने 2 नवंबर को एक नया एजेंटिक बेंचमार्क, जीडीपीएक्स प्रकाशित किया, जिसमें सिम्युलेटेड कार्यस्थलों के अंदर 13 फ्रंटियर एआई मॉडल रखे गए और उन्हें वास्तव में 206 पेशेवर कार्य करने के लिए कहा गया - और सबसे अच्छा मॉडल केवल 12.0% पूरा हुआ। एंथ्रोपिक का क्लाउड ओपस 5.5 12.0% के साथ आगे रहा, Google का जेमिनी 4 कार्बन 10.9% के साथ दूसरे स्थान पर रहा, OpenAI का GPT-6 एस्ट्रा 9.6% के साथ तीसरे स्थान पर रहा, और सबसे कम रैंक वाला मॉडल, Z.ai का GLM 5.3, 2.7% पर कामयाब रहा। यह मॉडलों के ख़राब होने की कहानी नहीं है; यह परीक्षा के ईमानदार होने की कहानी है: जीडीपीएक्स नौकरियों को ग्रेड देता है, परीक्षा के उत्तरों को नहीं। (कवर फोटो एआई डेटा सेंटर की फाइल फोटो है।)

यह क्या परीक्षण करता है: 11 उच्च-रिटर्न डोमेन, प्रति कार्य आठ घंटे

जीडीपीएक्स में चिप डिजाइन, हार्डवेयर डिजाइन, साइबर सुरक्षा, जीव विज्ञान, वित्त, कानूनी, क्वांट ट्रेडिंग, पुनरावर्ती आत्म-सुधार, सामग्री विज्ञान, संरेखण और सॉफ्टवेयर इंजीनियरिंग शामिल हैं - जीडीपी के हिस्से के बजाय निवेश पर आर्थिक रिटर्न के लिए चुने गए 11 डोमेन। इसके वित्त कार्य एक वास्तविक निजी-इक्विटी सौदे का पुनर्निर्माण करते हैं, एक फंड जो स्नैक निर्माता का लगभग 62% लगभग $880 मिलियन में खरीदता है और साथ ही एक कमाई भी करता है, जो लगभग 4,000 अज्ञात डील फ़ाइलों में फैला हुआ है जिसके माध्यम से मॉडल को काम करना होगा; साइबर सुरक्षा कार्य वास्तविक अप्रकाशित कमजोरियों वाली लाइव सेवाओं के विरुद्ध चलते हैं। कार्यों में आठ घंटे की डिफ़ॉल्ट सीमा होती है, और मॉडल अपने मूल टूलींग में चलते हैं जहां उपलब्ध है - ओपस 5.5 के लिए क्लाउड कोड, जीपीटी -6 एस्ट्रा के लिए कोडेक्स, जेमिनी 4 कार्बन के लिए एंटीग्रेविटी - तीन प्रयासों में पहले प्रयास में पास दर के औसत हेडलाइन स्कोर के साथ और प्रत्येक डोमेन को समान रूप से महत्व देना।

डोमेन के अनुसार अलग-अलग नेता; वित्त और कानूनी शून्य पर

ओपस 5.5 ने क्वांट ट्रेडिंग, हार्डवेयर डिज़ाइन और चिप डिज़ाइन में पूर्ण रूप से जीत हासिल की; जेमिनी 4 कार्बन ने जीव विज्ञान और सॉफ्टवेयर इंजीनियरिंग का नेतृत्व किया; GPT-6 एस्ट्रा ने पुनरावर्ती आत्म-सुधार और सामग्री विज्ञान लिया। लेकिन बाइनरी ग्रेडिंग के तहत - एक कार्य तभी गिना जाता है जब उसे शुरू से अंत तक पूरा किया जाता है - प्रत्येक मॉडल ने वित्त और कानूनी दोनों में शून्य स्कोर किया, यही कारण है कि सेमीएनालिसिस उन डोमेन के लिए आंशिक-क्रेडिट स्कोर की रिपोर्ट करता है। क्वांट ट्रेडिंग में, 111 में से 70 ग्रेडेड रन ने एक साधारण संदर्भ रणनीति से कम प्रदर्शन किया, और संरेखण-केंद्रित कार्यों में, 200 में से 196 रन ने कम से कम एक व्यवहार नियम को तोड़ दिया। लागत क्षमता के अनुसार व्यापक रूप से भिन्न थी: ओपस 5.5 का औसत $51.41 प्रति कार्य था, जेमिनी 4 कार्बन का लगभग एक तिहाई $16.29 था, और जीपीटी-6 एस्ट्रा $53.99 प्रति कार्य के साथ सबसे महंगा था, जो लीडर से 2.4 अंक पीछे था।

12% कैसे पढ़ें: तीन चेतावनियाँ

सबसे पहले, जीडीपीएक्स एक सशुल्क सेमीएनालिसिस उत्पाद है जिसके साझेदार-निर्मित कार्यों का स्वतंत्र रूप से ऑडिट नहीं किया गया है, इसलिए पहले दिन प्रत्येक नंबर प्रकाशक की अपनी रिपोर्टिंग है। दूसरा, सेमीएनालिसिस स्वयं कहता है कि ओपस 5.5 और जीपीटी-6 एस्ट्रा को साइबर सुरक्षा, जीव विज्ञान और संरेखण कार्यों पर उनके सुरक्षा क्लासिफायर द्वारा रोक दिया गया है, जिससे उन मॉडलों के लिए 12.0% का आंकड़ा रूढ़िवादी हो गया है। तीसरा, जीडीपीएक्स को सितंबर 2025 से ओपनएआई के जीडीपीवल के उत्तराधिकारी के रूप में तैनात किया गया है, जिसके बारे में सेमीएनालिसिस का तर्क है कि यह पूर्व-एजेंट युग से संबंधित है क्योंकि यह मॉडल को बिना किसी इंटरैक्शन के सभी संदर्भों को सामने रखता है; कंपनी हर तीन से छह महीने में अपडेट की योजना बनाती है, इसलिए अगली रीडिंग दिखाएगी कि लाइन किस दिशा में चलती है।