METR اپ ڈیٹ: فرنٹیئر AI ماڈلز اب ہفتے بھر کے کام تقریباً آدھے وقت میں مکمل کرتے ہیں۔

غیر منافع بخش AI ایویلیویٹر METR نے 20 نومبر کو اپنا تازہ ترین سہ ماہی جائزہ شائع کیا: OpenAI کے GPT-6 Astra اور Anthropic کے Claude Opus 5.5 میں اب بالترتیب 40 اور 39 گھنٹے کا 50% ٹائم افق ہے، جو چھ ماہ قبل 16 گھنٹے سے زیادہ ہے۔ لیکن کھلے کاموں پر جن میں تحقیقی فیصلے کی ضرورت ہوتی ہے، ماڈل اب بھی انسانوں سے بہت پیچھے ہیں۔
غیر منافع بخش AI تشخیصی تنظیم METR نے 20 نومبر کو اپنی تازہ ترین سہ ماہی صلاحیت کا جائزہ (ٹائم ہورائزن 2، یا TH2) شائع کیا۔ اس کی سرخی کی تلاش: OpenAI's GPT-6 Astra اور Anthropic's Claude Opus 5.5 میں اب 50% ٹائم افق ہے، جس کا مطلب ہے کہ تقریباً 39 گھنٹے کام کرتے ہیں۔ جس میں ایک ہنر مند انسانی ماہر کو پورا کام کرنے والا ہفتہ لگے گا، اب معروف ماڈلز کے پاس اسے خود مکمل کرنے کا تقریباً پچاس پچاس موقع ہے۔ چھ مہینے پہلے، یہ تعداد 16 گھنٹے تھی۔
40 گھنٹے کا کیا مطلب ہے؟
METR کا ٹائم افق اس بات کی پیمائش نہیں کرتا ہے کہ ایک ماڈل کتنی دیر تک مسلسل چل سکتا ہے۔ یہ کام کی دشواری کی پیمائش کرتا ہے: کام کی لمبائی، انسانی ماہرین کے اوقات میں، جس میں ایک ماڈل تقریباً نصف وقت میں کامیاب ہوتا ہے۔ METR کا کہنا ہے کہ 2.08 سے 4.94 ماہ کے 95 فیصد اعتماد کے وقفے کے ساتھ اعداد و شمار تقریباً ہر 3.6 ماہ میں دوگنا ہو رہے ہیں۔ رپورٹ میں یہ بھی نوٹ کیا گیا ہے کہ جن کاموں کو وہ مکمل کرتے ہیں، ماڈلز عام طور پر انسانوں کے مقابلے میں کئی گنا تیز ہوتے ہیں - میٹرک صلاحیت کی سرحد کو ٹریک کرتا ہے، کام کے اوقات نہیں۔
سرفہرست ماڈلز نے خدمات حاصل کرنے والے ماہرین کو تین بینچ مارکس پر شکست دی۔
تین خود کار طریقے سے بنائے گئے بینچ مارک ٹاسکس پر، بہترین کارکردگی کا مظاہرہ کرنے والے ماڈل نے ایک ہی کام کے لیے رکھے گئے ہر ماہر کو شکست دی: ریورس کونوے، بہترین بھرتی کے لیے 0.137 کے مقابلے میں ٹاپ ماڈل کے لیے 0.208؛ مائن کرافٹ بوٹ، 0.055 کے مقابلے میں 0.175؛ اور ایک پروگرام کو تربیت دیں، 0.042 کے مقابلے میں 0.443۔ خدمات حاصل کرنے والے ماہرین نے تینوں کاموں میں کل 39، 160 اور 45 گھنٹے کام کیا۔ TH2 سویٹ 12 ٹاسک فیملیز میں 36 نئے تصنیف کردہ کاموں کو شامل کرتا ہے، TH1.1 میں 222 پرانے کاموں اور 75 MirrorCode کاموں کے ساتھ مل کر، سافٹ ویئر انجینئرنگ، مشین لرننگ اور سائبرسیکیوریٹی پر پھیلا ہوا ہے۔
فیصلہ کمزور جگہ رہتا ہے۔
واضح اسکورنگ کے معیار کے بغیر کھلے عام تحقیقی کاموں پر، ماڈل واضح طور پر پیچھے رہ جاتے ہیں۔ 'میکنگ METR ٹاسک' ٹیسٹ میں، کسی بھی ماڈل نے تشخیصی ڈیزائن تیار نہیں کیا جسے METR کے عملے نے فوری طور پر قابل استعمال قرار دیا۔ فلسفیانہ دلائل کے اسکورنگ ٹیسٹ میں، ماڈل بھی انسانوں سے کم ہو گئے۔ AI گریڈرز کو بھی مضبوط ماڈلز کے لیے بہت زیادہ فراخدل پایا گیا: ایک ٹیسٹ میں، Opus 5.5 نے GPT-6 Astra کے کام کو 1 میں سے تقریباً 0.2 پوائنٹس حاصل کیے جو انسانی درجہ بندی کے مقابلے زیادہ تھے۔ مختصراً، ماڈلز اب ہنر مند انسانوں سے میل کھا سکتے ہیں یا انہیں شکست دے سکتے ہیں جہاں ایک درست جواب ہو — لیکن جہاں تحقیقی ذوق اور موضوعی فیصلے کی ضرورت ہو، حقیقی خودمختاری اب بھی کچھ دور ہے۔
تعداد کے پیچھے غیر یقینی صورتحال
METR اپنے اعداد و شمار کو چھوٹ دیتا ہے: انسانی کام کے اوقات کا صرف 9% حقیقی وقت کی بنیاد سے آتا ہے، باقی تخمینہ ہیں، اور 40 گھنٹے کے نقطہ تخمینہ کے ارد گرد 95% وقفہ تقریباً 12 گھنٹے سے 1,000 گھنٹے تک چلتا ہے۔ رپورٹ میں کہا گیا ہے کہ عوامی شواہد بہت پتلے ہیں کہ جلد ہی AI تحقیق اور ترقی میں بڑی رفتار کو مسترد کر سکتے ہیں، اور یہ کہ ٹیم مرکزی سوالات کے بارے میں کافی حد تک غیر یقینی ہے۔ MIT ٹیکنالوجی ریویو نے پہلے خبردار کیا ہے کہ ٹائم افق چارٹ وسیع پیمانے پر شیئر کیا گیا ہے - اور وسیع پیمانے پر غلط تشریح کی گئی ہے۔
اس تشخیص کو خود مختار تحقیق کی طرف AI کے راستے پر فیصلہ کرنے کے لیے ایک کلیدی کوآرڈینیٹ کے طور پر دیکھا جاتا ہے۔ METR 16 نومبر کو اوپن اے آئی کے اعلان کردہ سرایت شدہ حفاظتی جائزوں کو بھی چلاتا ہے، صلاحیت کی سرحد کی نگرانی جاری رکھتا ہے۔ نتیجہ دونوں طریقوں کو کاٹتا ہے: قابل تصدیق پروگرامنگ کاموں پر پیشرفت حیرت انگیز ہے، لیکن فیصلہ - واضح جواب کی کلید کے بغیر تحقیق کرنے کی صلاحیت - کو ابھی تک عبور نہیں کیا گیا ہے۔
N環球 
💬 Comments
No comments yet. Be the first!