بهروزرسانی METR: مدلهای هوش مصنوعی مرزی اکنون تقریباً نیمی از کارهای یک هفتهای را به پایان میرسانند

ارزیاب غیرانتفاعی هوش مصنوعی METR آخرین ارزیابی سه ماهه خود را در 20 نوامبر منتشر کرد: GPT-6 Astra از OpenAI و Claude Opus 5.5 از Anthropic اکنون دارای افق زمانی 50 درصدی به ترتیب حدود 40 و 39 ساعت هستند که در مقایسه با 16 ساعت شش ماه قبل افزایش یافته است. اما در مورد کارهای باز که نیاز به قضاوت تحقیقاتی دارند، مدل ها هنوز از انسان ها عقب هستند.
سازمان غیرانتفاعی ارزیابی هوش مصنوعی METR آخرین ارزیابی سه ماهه قابلیت خود (Time Horizon 2 یا TH2) را در 20 نوامبر منتشر کرد. یافته سرفصل آن: GPT-6 Astra از OpenAI و Claude Opus 5.5 Anthropic اکنون دارای افق زمانی 50 درصدی در حدود 40 ساعت و 39 ساعت است که به این معنی است که به ترتیب یک کار متخصص تمام طول می کشد. در هفته کاری، مدل های پیشرو اکنون تقریباً پنجاه و پنجاه شانس دارند که آن را به تنهایی تکمیل کنند. شش ماه پیش، این رقم 16 ساعت بود.
40 ساعت یعنی چی
افق زمانی METR مدت زمانی که یک مدل می تواند به طور مداوم اجرا شود را اندازه نمی گیرد. دشواری کار را اندازه گیری می کند: طول کار، در ساعت های انسانی-متخصص، که در آن یک مدل تقریباً نیمی از زمان را موفق می کند. METR می گوید که این رقم تقریباً هر 3.6 ماه دو برابر می شود و فاصله اطمینان 95٪ بین 2.08 تا 4.94 ماه است. این گزارش همچنین خاطرنشان میکند که در کارهایی که انجام میدهند، مدلها معمولاً چندین برابر سریعتر از انسانها هستند – این متریک مرز قابلیت را دنبال میکند، نه ساعات کاری.
مدل های برتر در سه معیار، کارشناسان استخدام شده را شکست دادند
در سه کار معیار امتیازدهی خودکار، مدل با بهترین عملکرد هر متخصصی را که برای همان کار استخدام شده بود شکست داد: Reverse Conway، 0.208 برای مدل برتر در مقابل 0.137 برای بهترین استخدام. ربات Minecraft، 0.175 در مقابل 0.055; و Train a Program، 0.443 در مقابل 0.042. متخصصان استخدام شده 39، 160 و 45 ساعت کل کار را در سه وظیفه ثبت کردند. مجموعه TH2 36 کار تازه تألیف شده را در 12 خانواده وظیفه اضافه می کند، همراه با 222 کار قدیمی در TH1.1 و 75 وظیفه MirrorCode، شامل مهندسی نرم افزار، یادگیری ماشین و امنیت سایبری.
قضاوت نقطه ضعف باقی می ماند
در کارهای تحقیقاتی باز و بدون استاندارد امتیازدهی مشخص، مدلها به وضوح عقب میافتند. در آزمون «ساخت وظایف METR»، هیچ مدلی طرح ارزیابی را ارائه نکرد که کارکنان METR آن را بلافاصله قابل استفاده ارزیابی کنند. در آزمون نمره دهی به استدلال های فلسفی، مدل ها نیز از انسان ها کوتاه آمدند. همچنین مشخص شد که درجهدارهای هوش مصنوعی نسبت به مدلهای قویتر بسیار سخاوتمند هستند: در یک آزمایش، Opus 5.5 به کار GPT-6 Astra حدود 0.2 از 1 امتیاز بالاتری نسبت به یک ارزیابیکننده انسانی کسب کرد. بهطور خلاصه، مدلها اکنون میتوانند با انسانهای ماهر مطابقت یا شکست دهند، جایی که پاسخ درستی وجود دارد - اما در جایی که سلیقه پژوهشی و قضاوت ذهنی مورد نیاز است، استقلال واقعی هنوز تا حدودی فاصله دارد.
عدم قطعیت پشت اعداد
METR ارقام خود را کاهش میدهد: تنها 9 درصد از زمانهای کار انسان از یک خط پایه زمانبندی شده واقعی میآیند، بقیه پیشبینیها هستند، و فاصله 95 درصدی حول برآورد نقطهای 40 ساعته از حدود 12 ساعت تا بیش از 1000 ساعت است. این گزارش میگوید که شواهد عمومی برای رد سرعت زیاد در تحقیق و توسعه هوش مصنوعی بسیار ناچیز است و این تیم "به طور قابل توجهی در مورد سوالات اصلی نامطمئن باقی میماند." بررسی فناوری MIT قبلاً هشدار داده بود که نمودار افق زمانی به طور گسترده به اشتراک گذاشته شده است - و به طور گسترده ای اشتباه تفسیر شده است.
ارزیابی به عنوان یک مختصات کلیدی برای قضاوت در مسیر هوش مصنوعی به سمت تحقیقات مستقل در نظر گرفته می شود. METR همچنین ارزیابیهای ایمنی تعبیهشده OpenAI اعلام شده در ۱۶ نوامبر را اجرا میکند و به نظارت بر مرز قابلیتها ادامه میدهد. نتیجه گیری هر دو طرف را کاهش می دهد: پیشرفت در وظایف برنامه نویسی قابل تأیید قابل توجه است، اما قضاوت - توانایی انجام تحقیق بدون کلید پاسخ روشن - هنوز تلاقی نکرده است.
N環球 
💬 Comments
No comments yet. Be the first!