এমনকি সেরা AI সেমিঅ্যানালাইসিসের নতুন GDPx বেঞ্চমার্কে প্রকৃত চাকরির মাত্র 12% সম্পন্ন করে

SemiAnalysis একটি নতুন এজেন্টিক বেঞ্চমার্ক, GDPx প্রকাশ করেছে, 2 নভেম্বর, 13টি ফ্রন্টিয়ার এআই মডেলকে সিমুলেটেড কর্মক্ষেত্রে স্থাপন করে এবং তাদের প্রকৃতপক্ষে 206টি পেশাদার কাজ করতে বলে — এবং সেরা মডেলটি মাত্র 12.0% সম্পন্ন করেছে। Anthropic এর Claude Opus 5.5 12.0% এর নেতৃত্বে, Google এর Gemini 4 Carbon 10.9% এ দ্বিতীয়, OpenAI এর GPT-6 Astra 9.6% এ তৃতীয় এবং সর্বনিম্ন-র্যাঙ্কের মডেল, Z.ai এর GLM 5.3, 2.7% পরিচালনা করেছে। এটি মডেল খারাপ হওয়ার গল্প নয়; এটি পরীক্ষার সৎ হওয়ার গল্প: জিডিপিএক্স গ্রেডের চাকরি, পরীক্ষার উত্তর নয়। (কভার ফটো একটি এআই ডেটা সেন্টারের একটি ফাইল ছবি।)

এটি কী পরীক্ষা করে: 11টি উচ্চ-রিটার্ন ডোমেন, প্রতি টাস্কে আট ঘন্টা

জিডিপিএক্স চিপ ডিজাইন, হার্ডওয়্যার ডিজাইন, সাইবার সিকিউরিটি, জীববিজ্ঞান, ফিনান্স, লিগ্যাল, কোয়ান্ট ট্রেডিং, রিকার্সিভ সেলফ ইমপ্রুভমেন্ট, ম্যাটেরিয়াল সায়েন্স, অ্যালাইনমেন্ট এবং সফ্টওয়্যার ইঞ্জিনিয়ারিং-এ বিস্তৃত 11টি ডোমেন জিডিপির শেয়ারের পরিবর্তে বিনিয়োগে অর্থনৈতিক রিটার্নের জন্য বেছে নেওয়া হয়েছে। এর আর্থিক কার্যগুলি একটি বাস্তব প্রাইভেট-ইক্যুইটি চুক্তি পুনর্গঠন করে, একটি তহবিল প্রায় $880 মিলিয়ন ডলারে একটি স্ন্যাক প্রস্তুতকারকের প্রায় 62% ক্রয় করে এবং একটি উপার্জন, প্রায় 4,000 বেনামী ডিল ফাইল জুড়ে ছড়িয়ে পড়ে যে মডেলটিকে অবশ্যই কাজ করতে হবে; সাইবার সিকিউরিটি টাস্কগুলি লাইভ পরিষেবাগুলির বিরুদ্ধে সঞ্চালিত হয় যা প্রকৃত অপ্রচলিত দুর্বলতাগুলি বহন করে৷ টাস্কগুলির একটি আট-ঘণ্টার ডিফল্ট সীমা রয়েছে এবং মডেলগুলি তাদের নেটিভ টুলিং-এ চলে যেখানে পাওয়া যায় — Opus 5.5-এর জন্য Claude Code, GPT-6 Astra-এর জন্য কোডেক্স, Gemini 4 Carbon-এর জন্য অ্যান্টিগ্র্যাভিটি — শিরোনাম স্কোরের গড় প্রথম-প্রয়াসে পাসের হার তিনটি প্রচেষ্টায় এবং প্রতিটি ডোমেনকে সমানভাবে ওজন করে৷

ডোমেইন দ্বারা বিভিন্ন নেতা; শূন্য এ আর্থিক এবং আইনি

Opus 5.5 জিতেছে কোয়ান্ট ট্রেডিং, হার্ডওয়্যার ডিজাইন এবং চিপ ডিজাইন সম্পূর্ণরূপে; জেমিনি 4 কার্বন নেতৃত্বাধীন জীববিজ্ঞান এবং সফ্টওয়্যার প্রকৌশল; GPT-6 Astra পুনরাবৃত্ত স্ব-উন্নতি এবং উপকরণ বিজ্ঞান নিয়েছে। কিন্তু বাইনারি গ্রেডিংয়ের অধীনে - একটি টাস্ক শুধুমাত্র শেষ থেকে শেষ হলেই গণনা করা হয় - প্রতিটি মডেল ফিনান্স এবং আইনি উভয় ক্ষেত্রেই শূন্য স্কোর করেছে, যে কারণে সেমিঅ্যানালাইসিস সেই ডোমেনের পরিবর্তে আংশিক-ক্রেডিট স্কোর রিপোর্ট করে। কোয়ান্ট ট্রেডিং-এ, 111টি গ্রেডেড রানের মধ্যে 70টি একটি সাধারণ রেফারেন্স কৌশল কম করেছে, এবং সারিবদ্ধকরণ-কেন্দ্রিক কাজগুলিতে, 200 রানের মধ্যে 196টি অন্তত একটি আচরণগত নিয়ম ভঙ্গ করেছে। খরচ সামর্থ্য অনুযায়ী ব্যাপকভাবে পরিবর্তিত হয়: Opus 5.5 এর গড় $51.41 টাস্ক, Gemini 4 Carbon মোটামুটি তার এক তৃতীয়াংশ $16.29, এবং GPT-6 Astra ছিল সবচেয়ে দামি $53.99 প্রতি টাস্কের জন্য স্কোর লিডার থেকে 2.4 পয়েন্ট পিছিয়ে।

কিভাবে 12% পড়তে হয়: তিনটি সতর্কতা

প্রথমত, GDPx হল একটি প্রদত্ত সেমিঅ্যানালাইসিস পণ্য যার অংশীদার-নির্মিত কাজগুলি স্বাধীনভাবে অডিট করা হয়নি, তাই প্রথম দিনে প্রতিটি সংখ্যা প্রকাশকের নিজস্ব প্রতিবেদন। দ্বিতীয়ত, সেমিঅ্যানালাইসিস নিজেই বলে যে Opus 5.5 এবং GPT-6 Astra সাইবার সিকিউরিটি, বায়োলজি এবং অ্যালাইনমেন্ট টাস্কে তাদের সেফটি ক্লাসিফায়ার দ্বারা আটকে আছে, যা সেই মডেলগুলির জন্য 12.0% ফিগারকে রক্ষণশীল করে তুলেছে। তৃতীয়ত, GDPx সেপ্টেম্বর 2025 থেকে OpenAI-এর GDPval-এর উত্তরসূরি হিসাবে অবস্থান করছে, যেটি সেমি-অ্যানালাইসিস যুক্তি দেয় যে এটি প্রাক-এজেন্ট যুগের অন্তর্গত কারণ এটি কোনও মিথস্ক্রিয়া ছাড়াই সমস্ত প্রসঙ্গ সামনে তুলে ধরে; ফার্ম প্রতি তিন থেকে ছয় মাসে আপডেট করার পরিকল্পনা করে, তাই পরবর্তী রিডিং দেখাবে যে লাইনটি কোন পথে চলে।