یہاں تک کہ بہترین AI بھی SemiAnalysis کے نئے GDPx بینچ مارک میں حقیقی ملازمتوں کا صرف 12% مکمل کرتا ہے۔

SemiAnalysis نے 2 نومبر کو ایک نیا ایجنٹ بینچ مارک، GDPx شائع کیا، جس میں 13 فرنٹیئر AI ماڈلز کو نقلی کام کی جگہوں کے اندر رکھا گیا اور ان سے 206 پیشہ ورانہ کام کرنے کے لیے کہا گیا - اور بہترین ماڈل نے صرف 12.0 فیصد مکمل کیا۔ Anthropic کا Claude Opus 5.5 12.0% کی قیادت میں، Google کا Gemini 4 Carbon 10.9% کے ساتھ دوسرے نمبر پر، OpenAI کا GPT-6 Astra 9.6% پر تیسرے، اور سب سے کم درجہ والا ماڈل Z.ai کا GLM 5.3، 2.7% پر کامیاب رہا۔ یہ ماڈلز کے خراب ہونے کی کہانی نہیں ہے۔ یہ ٹیسٹ کے ایماندار ہونے کے بارے میں ایک کہانی ہے: GDPx گریڈ نوکریاں، امتحان کے جوابات نہیں۔ (کور فوٹو اے آئی ڈیٹا سینٹر کی فائل فوٹو ہے۔)

یہ کیا ٹیسٹ کرتا ہے: 11 ہائی ریٹرن ڈومینز، آٹھ گھنٹے فی کام

GDPx چپ ڈیزائن، ہارڈویئر ڈیزائن، سائبرسیکیوریٹی، بیالوجی، فنانس، قانونی، کوانٹ ٹریڈنگ، ریکسریو سیلف امپروومنٹ، میٹریل سائنس، الائنمنٹ اور سافٹ ویئر انجینئرنگ پر محیط ہے — 11 ڈومینز کو GDP کے حصہ کی بجائے سرمایہ کاری پر اقتصادی منافع کے لیے چنا گیا ہے۔ اس کے مالیاتی کام ایک حقیقی پرائیویٹ ایکویٹی ڈیل کی تشکیل نو کرتے ہیں، ایک فنڈ تقریباً 62% ایک سنیک مینوفیکچرر کا تقریباً 880 ملین ڈالر میں خریدتا ہے اور ایک کمائی، تقریباً 4,000 گمنام ڈیل فائلوں میں پھیلی ہوئی ہے جن کے ذریعے ماڈل کو کام کرنا چاہیے۔ سائبرسیکیوریٹی ٹاسک لائیو سروسز کے خلاف چلتے ہیں جن میں حقیقی غیرمعمولی خطرات موجود ہیں۔ ٹاسکس میں آٹھ گھنٹے کی ڈیفالٹ حد ہوتی ہے، اور ماڈلز اپنی مقامی ٹولنگ میں چلتے ہیں جہاں دستیاب ہو — Opus 5.5 کے لیے Claude Code، GPT-6 Astra کے لیے Codex، Gemini 4 Carbon کے لیے Antigravity — ہیڈ لائن کے اسکور کے ساتھ تین کوششوں میں پہلی کوشش کے پاس ہونے کی شرحیں اور ہر ڈومین کو یکساں طور پر وزن دیا جاتا ہے۔

ڈومین کے لحاظ سے مختلف رہنما؛ فنانس اور قانونی صفر پر

Opus 5.5 نے کوانٹ ٹریڈنگ، ہارڈویئر ڈیزائن اور چپ ڈیزائن جیت لیا؛ جیمنی 4 کاربن لیڈ بائیولوجی اور سافٹ ویئر انجینئرنگ؛ GPT-6 Astra نے خود کو بہتر بنانے اور میٹریل سائنس کی تکرار کی۔ لیکن بائنری گریڈنگ کے تحت — ایک کام صرف اس صورت میں شمار ہوتا ہے جب اختتام سے آخر تک مکمل ہو — ہر ماڈل نے فنانس اور قانونی دونوں میں صفر اسکور کیا، یہی وجہ ہے کہ SemiAnalysis ان ڈومینز کے لیے جزوی-کریڈٹ اسکورز کی بجائے رپورٹ کرتا ہے۔ کوانٹ ٹریڈنگ میں، 111 گریڈڈ رنز میں سے 70 نے ایک سادہ حوالہ حکمت عملی سے کم کارکردگی کا مظاہرہ کیا، اور صف بندی پر مبنی کاموں میں، 200 میں سے 196 رنز نے کم از کم ایک رویے کے اصول کو توڑا۔ صلاحیت کے لحاظ سے لاگت مختلف ہوتی ہے: Opus 5.5 کی اوسط $51.41 فی ٹاسک، Gemini 4 Carbon اس کا تقریباً ایک تہائی $16.29، اور GPT-6 Astra لیڈر سے 2.4 پوائنٹس پیچھے اسکور کے لیے $53.99 فی ٹاسک پر سب سے مہنگا تھا۔

12٪ کو کیسے پڑھیں: تین انتباہات

سب سے پہلے، GDPx ایک ادا شدہ SemiAnalysis پروڈکٹ ہے جس کے پارٹنر کے بنائے ہوئے کاموں کا آزادانہ آڈٹ نہیں کیا گیا ہے، اس لیے پہلے دن ہر نمبر پبلشر کی اپنی رپورٹنگ ہے۔ دوسرا، SemiAnalysis خود کہتا ہے کہ Opus 5.5 اور GPT-6 Astra کو سائبرسیکیوریٹی، بیالوجی اور الائنمنٹ ٹاسکس پر ان کے حفاظتی درجہ بندی کرنے والوں نے روک رکھا ہے، جس سے ان ماڈلز کے لیے 12.0% قدامت پسند ہے۔ تیسرا، GDPx ستمبر 2025 سے OpenAI کے GDPval کے جانشین کے طور پر پوزیشن میں ہے، جس کا SemiAnalysis استدلال کرتا ہے کہ یہ پری ایجنٹ دور سے تعلق رکھتا ہے کیونکہ یہ ماڈل کو بغیر کسی تعامل کے تمام سیاق و سباق کو سامنے رکھتا ہے۔ فرم ہر تین سے چھ ماہ بعد اپ ڈیٹ کرنے کا منصوبہ بناتی ہے، اس لیے اگلی پڑھائی سے پتہ چل جائے گا کہ لائن کس طرف چلتی ہے۔