N環球 N GLOBE
মার্কিন প্রযুক্তি

METR আপডেট: ফ্রন্টিয়ার এআই মডেলগুলি এখন সপ্তাহব্যাপী কাজগুলি প্রায় অর্ধেক সময় শেষ করে৷

· N GLOBE

অলাভজনক AI মূল্যায়নকারী METR তার সর্বশেষ ত্রৈমাসিক মূল্যায়ন 20 নভেম্বর প্রকাশ করেছে: OpenAI-এর GPT-6 Astra এবং Anthropic's Claude Opus 5.5-এ এখন 50% সময় দিগন্ত যথাক্রমে প্রায় 40 এবং 39 ঘন্টা রয়েছে, যা ছয় মাস আগে 16 ঘন্টা ছিল৷ কিন্তু ওপেন-এন্ডেড কাজগুলিতে গবেষণার বিচারের প্রয়োজন, মডেলগুলি এখনও মানুষের থেকে পিছিয়ে আছে।

অলাভজনক AI মূল্যায়ন সংস্থা METR তার সর্বশেষ ত্রৈমাসিক সক্ষমতা মূল্যায়ন (টাইম হরাইজন 2, বা TH2) 20 নভেম্বর প্রকাশ করেছে। এর শিরোনাম অনুসন্ধান: OpenAI-এর GPT-6 Astra এবং Anthropic's Claude Opus 5.5-এর এখন 50% সময় দিগন্ত রয়েছে, যার অর্থ প্রায় 34 ঘন্টা, যার অর্থ প্রায় 09 ঘন্টা। এটি একজন দক্ষ মানব বিশেষজ্ঞের জন্য একটি সম্পূর্ণ কর্ম সপ্তাহ লাগবে, নেতৃস্থানীয় মডেলগুলি এখন তাদের নিজেরাই এটি সম্পূর্ণ করার মোটামুটি পঞ্চাশ-পঞ্চাশ সম্ভাবনা রয়েছে। ছয় মাস আগে, এই সংখ্যা ছিল 16 ঘন্টা।

40 ঘন্টা মানে কি?

METR এর সময় দিগন্ত পরিমাপ করে না একটি মডেল কতক্ষণ একটানা চলতে পারে। এটি কাজের অসুবিধা পরিমাপ করে: কাজের দৈর্ঘ্য, মানব-বিশেষজ্ঞ ঘন্টায়, যেখানে একটি মডেল প্রায় অর্ধেক সময় সফল হয়। METR বলছে, 2.08 থেকে 4.94 মাসের মধ্যে 95% আত্মবিশ্বাসের ব্যবধানে এই সংখ্যাটি প্রতি 3.6 মাসে প্রায় দ্বিগুণ হচ্ছে। প্রতিবেদনে আরও উল্লেখ করা হয়েছে যে তারা যে কাজগুলি সম্পন্ন করে, মডেলগুলি সাধারণত মানুষের চেয়ে কয়েকগুণ দ্রুত হয় - মেট্রিকটি কাজের সময় নয়, সক্ষমতার সীমানা ট্র্যাক করে।

শীর্ষ মডেলগুলি তিনটি বেঞ্চমার্কে নিয়োগ করা বিশেষজ্ঞদের পরাজিত করে৷

তিনটি স্বয়ংক্রিয়ভাবে স্কোর করা বেঞ্চমার্ক টাস্কে, সেরা-পারফর্মিং মডেল একই কাজের জন্য নিয়োগ করা প্রত্যেক বিশেষজ্ঞকে পরাজিত করেছে: রিভার্স কনওয়ে, সেরা নিয়োগের জন্য 0.137 এর বিপরীতে শীর্ষ মডেলের জন্য 0.208; Minecraft Bot, 0.175 এর বিপরীতে 0.055; এবং একটি প্রোগ্রাম প্রশিক্ষণ দিন, 0.042 এর বিপরীতে 0.443। নিয়োগ করা বিশেষজ্ঞরা তিনটি কাজের মোট কাজের 39, 160 এবং 45 ঘন্টা লগ করেছেন। TH2 স্যুটটি 12টি টাস্ক ফ্যামিলি জুড়ে 36টি নতুন রচিত কাজ যোগ করে, TH1.1-এ 222টি পুরানো টাস্ক এবং 75টি মিররকোড টাস্ক, সফটওয়্যার ইঞ্জিনিয়ারিং, মেশিন লার্নিং এবং সাইবার সিকিউরিটি সম্মিলিত।

বিচার দুর্বল জায়গা থেকে যায়

একটি স্পষ্ট স্কোরিং মান ছাড়াই খোলামেলা গবেষণা কাজগুলিতে, মডেলগুলি স্পষ্টতই পিছিয়ে যায়। 'মেকিং METR টাস্ক' পরীক্ষায়, কোনো মডেলই একটি মূল্যায়ন নকশা তৈরি করেনি যা METR কর্মীরা অবিলম্বে ব্যবহারযোগ্য বলে মনে করেন; একটি পরীক্ষা স্কোরিং দার্শনিক আর্গুমেন্ট, মডেল এছাড়াও মানুষের কম পড়ে. এআই গ্রেডারদেরও শক্তিশালী মডেলের জন্য খুব উদার বলে দেখা গেছে: একটি পরীক্ষায়, Opus 5.5 GPT-6 Astra-এর কাজকে একজন মানুষের রেটারের তুলনায় 1টির মধ্যে প্রায় 0.2 পয়েন্ট বেশি স্কোর করেছে। সংক্ষেপে, মডেলগুলি এখন দক্ষ মানুষের সাথে মেলে বা পরাজিত করতে পারে যেখানে একটি সঠিক উত্তর আছে — কিন্তু যেখানে গবেষণার স্বাদ এবং বিষয়গত বিচার প্রয়োজন, প্রকৃত স্বায়ত্তশাসন এখনও কিছুটা দূরে।

সংখ্যার পিছনে অনিশ্চয়তা

METR তার নিজস্ব পরিসংখ্যানে ছাড় দেয়: মানুষের কাজের সময়গুলির মাত্র 9% একটি বাস্তব সময়ের বেসলাইন থেকে আসে, বাকিগুলি অনুমান, এবং 40-ঘন্টা পয়েন্ট অনুমানের চারপাশে 95% ব্যবধান প্রায় 12 ঘন্টা থেকে 1,000 ঘন্টা পর্যন্ত চলে। প্রতিবেদনে বলা হয়েছে যে শীঘ্রই এআই গবেষণা ও উন্নয়নে একটি বড় গতির সম্ভাবনাকে অস্বীকার করার জন্য জনসাধারণের প্রমাণ খুবই পাতলা, এবং দলটি 'কেন্দ্রীয় প্রশ্নগুলির বিষয়ে উল্লেখযোগ্যভাবে অনিশ্চিত রয়ে গেছে।' এমআইটি প্রযুক্তি পর্যালোচনা পূর্বে সতর্ক করেছে যে সময়-দিগন্ত চার্ট ব্যাপকভাবে ভাগ করা হয়েছে — এবং ব্যাপকভাবে ভুল ব্যাখ্যা করা হয়েছে।

স্বায়ত্তশাসিত গবেষণার দিকে AI এর পথ বিচার করার জন্য মূল্যায়নটিকে একটি মূল সমন্বয় হিসাবে দেখা হয়। METR 16 নভেম্বর ওপেনএআই ঘোষিত এমবেডেড নিরাপত্তা মূল্যায়নও চালায়, সক্ষমতার সীমানা নিরীক্ষণ অব্যাহত রাখে। উপসংহারটি উভয় উপায়েই কাটে: যাচাইযোগ্য প্রোগ্রামিং কাজগুলিতে অগ্রগতি আকর্ষণীয়, কিন্তু রায় - একটি স্পষ্ট উত্তর কী ছাড়া গবেষণা করার ক্ষমতা - এখনও অতিক্রম করা হয়নি।

💬 Comments

No comments yet. Be the first!