تحديث METR: تنهي نماذج Frontier AI الآن المهام التي تستغرق أسبوعًا في نصف الوقت تقريبًا

نشرت مؤسسة تقييم الذكاء الاصطناعي غير الربحية METR أحدث تقييم ربع سنوي لها في 20 نوفمبر: لدى OpenAI's GPT-6 Astra وAnthropic's Claude Opus 5.5 الآن أفق زمني بنسبة 50٪ يبلغ حوالي 40 و39 ساعة على التوالي، ارتفاعًا من 16 ساعة قبل ستة أشهر. ولكن في المهام المفتوحة التي تتطلب حكمًا بحثيًا، لا تزال النماذج متخلفة كثيرًا عن البشر.
نشرت منظمة تقييم الذكاء الاصطناعي غير الربحية METR أحدث تقييم ربع سنوي للقدرات (Time Horizon 2، أو TH2) في 20 نوفمبر. وكان عنوانها الرئيسي هو أن GPT-6 Astra من OpenAI وAnthropic's Claude Opus 5.5 لديهما الآن أفق زمني بنسبة 50% يبلغ حوالي 40 ساعة و39 ساعة على التوالي - مما يعني أنه في مواجهة مهمة قد تستغرق خبيرًا بشريًا ماهرًا أسبوع عمل كامل، فإن النماذج الرائدة لديها الآن فرصة بنسبة خمسين تقريبًا إكمالها بأنفسهم. قبل ستة أشهر، كان هذا الرقم 16 ساعة.
ماذا يعني 40 ساعة
لا يقيس الأفق الزمني لـ METR المدة التي يمكن أن يعمل فيها النموذج بشكل مستمر. فهو يقيس صعوبة المهمة: طول المهمة، بساعات الخبرة البشرية، والتي ينجح فيها النموذج في نصف الوقت تقريبًا. ويقول METR إن الرقم يتضاعف كل 3.6 أشهر تقريبًا، مع فاصل ثقة 95% يتراوح بين 2.08 إلى 4.94 شهرًا. ويشير التقرير أيضًا إلى أنه في المهام التي يكملونها، تكون النماذج عادةً أسرع بعدة مرات من البشر - ويتتبع المقياس حدود القدرة، وليس ساعات العمل.
تغلبت أفضل العارضات على الخبراء المعينين في ثلاثة معايير
في ثلاث مهام معيارية تم تسجيلها تلقائيًا، تغلب النموذج الأفضل أداءً على كل متخصص تم تعيينه لنفس المهمة: Reverse Conway، 0.208 للنموذج الأعلى مقابل 0.137 لأفضل توظيف؛ ماينكرافت بوت، 0.175 مقابل 0.055؛ وتدريب البرنامج، 0.443 مقابل 0.042. سجل المتخصصون المعينون 39 و160 و45 ساعة من العمل الإجمالي عبر المهام الثلاث. تضيف مجموعة TH2 36 مهمة تم تأليفها حديثًا عبر 12 مجموعة مهام، بالإضافة إلى 222 مهمة قديمة في TH1.1 و75 مهمة MirrorCode، والتي تشمل هندسة البرمجيات والتعلم الآلي والأمن السيبراني.
ويظل الحكم هو نقطة الضعف
في المهام البحثية المفتوحة دون معيار درجات واضح، تتأخر النماذج بشكل واضح. في اختبار "تنفيذ مهام METR"، لم ينتج أي نموذج تصميمًا للتقييم اعتبره موظفو METR قابلاً للاستخدام على الفور؛ وفي اختبار تسجيل الحجج الفلسفية، كانت النماذج أيضًا أقل من البشر. وُجد أيضًا أن مُصنفي الذكاء الاصطناعي كرماء جدًا مع النماذج الأقوى: في أحد الاختبارات، سجل Opus 5.5 لعمل GPT-6 Astra حوالي 0.2 نقطة من نقطة واحدة أعلى مما سجله المُقيّم البشري. باختصار، يمكن للنماذج الآن أن تضاهي البشر المهرة أو تتفوق عليهم عندما تكون هناك إجابة صحيحة - ولكن عندما تكون هناك حاجة إلى الذوق البحثي والحكم الذاتي، فإن الاستقلالية الحقيقية لا تزال بعيدة المنال.
عدم اليقين وراء الأرقام
يقوم METR بخصم أرقامه الخاصة: 9% فقط من أوقات المهام البشرية تأتي من خط أساس زمني حقيقي، والباقي عبارة عن توقعات، والفاصل الزمني 95% حول تقدير النقطة 40 ساعة يمتد من حوالي 12 ساعة إلى أكثر من 1000 ساعة. ويقول التقرير إن الأدلة العامة ضعيفة للغاية بحيث لا يمكن استبعاد حدوث تسريع كبير في أبحاث الذكاء الاصطناعي وتطويره قريبًا، وأن الفريق "لا يزال غير متأكد بشكل كبير بشأن الأسئلة المركزية". وقد حذرت MIT Technology Review سابقًا من أن مخطط الأفق الزمني مشترك على نطاق واسع، ويساء تفسيره على نطاق واسع.
يُنظر إلى التقييم على أنه تنسيق رئيسي للحكم على مسار الذكاء الاصطناعي نحو البحث المستقل. يدير METR أيضًا تقييمات السلامة المضمنة التي أعلن عنها OpenAI في 16 نوفمبر، ويستمر في مراقبة حدود القدرات. الاستنتاج يقطع الاتجاهين: التقدم في مهام البرمجة التي يمكن التحقق منها أمر مذهل، ولكن الحكم - القدرة على إجراء البحوث دون مفتاح إجابة واضح - لم يتم تجاوزه بعد.
N環球 
💬 Comments
No comments yet. Be the first!