एमईटीआर अपडेट: फ्रंटियर एआई मॉडल अब सप्ताह भर के कार्यों को लगभग आधे समय में पूरा करते हैं

गैर-लाभकारी एआई मूल्यांकनकर्ता एमईटीआर ने 20 नवंबर को अपना नवीनतम त्रैमासिक मूल्यांकन प्रकाशित किया: ओपनएआई के जीपीटी -6 एस्ट्रा और एंथ्रोपिक के क्लाउड ओपस 5.5 में अब क्रमशः 40 और 39 घंटे का 50% समय क्षितिज है, जो छह महीने पहले 16 घंटे से अधिक है। लेकिन अनुसंधान निर्णय की आवश्यकता वाले खुले-अंत वाले कार्यों में, मॉडल अभी भी मनुष्यों से काफी पीछे हैं।
गैर-लाभकारी एआई मूल्यांकन संगठन एमईटीआर ने 20 नवंबर को अपना नवीनतम त्रैमासिक क्षमता मूल्यांकन (टाइम होराइजन 2, या टीएच2) प्रकाशित किया। इसकी शीर्षक खोज: ओपनएआई के जीपीटी -6 एस्ट्रा और एंथ्रोपिक के क्लाउड ओपस 5.5 में अब क्रमशः 40 घंटे और 39 घंटे का 50% समय क्षितिज है - जिसका अर्थ है कि, एक ऐसे कार्य का सामना करना पड़ता है जिसमें एक कुशल मानव विशेषज्ञ को पूरा कार्य सप्ताह लगेगा, अग्रणी मॉडल अब लगभग पचास-पचास मौका रखते हैं। इसे अपने दम पर पूरा करने का. छह महीने पहले यह आंकड़ा 16 घंटे था।
40 घंटे का क्या मतलब है
METR का समय क्षितिज यह नहीं मापता कि कोई मॉडल कितनी देर तक लगातार चल सकता है। यह कार्य की कठिनाई को मापता है: मानव-विशेषज्ञ घंटों में कार्य की लंबाई, जिसमें एक मॉडल लगभग आधे समय में सफल होता है। एमईटीआर का कहना है कि 2.08 से 4.94 महीने के 95% विश्वास अंतराल के साथ, यह आंकड़ा लगभग हर 3.6 महीने में दोगुना हो रहा है। रिपोर्ट में यह भी कहा गया है कि जिन कार्यों को वे पूरा करते हैं, उनमें मॉडल आमतौर पर मनुष्यों की तुलना में कई गुना तेज होते हैं - मीट्रिक क्षमता सीमा को ट्रैक करता है, काम के घंटों को नहीं।
शीर्ष मॉडलों ने तीन मानकों पर नियुक्त विशेषज्ञों को पछाड़ दिया
स्वचालित रूप से स्कोर किए गए तीन बेंचमार्क कार्यों में, सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल ने समान कार्य के लिए नियुक्त प्रत्येक विशेषज्ञ को पछाड़ दिया: रिवर्स कॉनवे, शीर्ष मॉडल के लिए 0.208 जबकि सर्वश्रेष्ठ भर्ती के लिए 0.137; माइनक्राफ्ट बॉट, 0.175 बनाम 0.055; और एक प्रोग्राम को प्रशिक्षित करें, 0.042 के मुकाबले 0.443। काम पर रखे गए विशेषज्ञों ने तीनों कार्यों में कुल 39, 160 और 45 घंटे काम किया। TH2 सुइट 12 कार्य परिवारों में 36 नए लिखे गए कार्यों को जोड़ता है, जो TH1.1 में 222 पुराने कार्यों और 75 मिररकोड कार्यों के साथ संयुक्त है, जो सॉफ्टवेयर इंजीनियरिंग, मशीन लर्निंग और साइबर सुरक्षा तक फैला हुआ है।
निर्णय कमज़ोर स्थान बना हुआ है
स्पष्ट स्कोरिंग मानक के बिना ओपन-एंड अनुसंधान कार्यों पर, मॉडल स्पष्ट रूप से पिछड़ जाते हैं। 'मेकिंग एमईटीआर टास्क' परीक्षण में, किसी भी मॉडल ने ऐसा मूल्यांकन डिज़ाइन तैयार नहीं किया जिसे एमईटीआर स्टाफ ने तुरंत प्रयोग करने योग्य समझा; दार्शनिक तर्कों के परीक्षण में मॉडल भी इंसानों से कमतर साबित हुए। एआई ग्रेडर भी मजबूत मॉडलों के प्रति बहुत उदार पाए गए: एक परीक्षण में, ओपस 5.5 ने जीपीटी-6 एस्ट्रा के काम को एक मानव मूल्यांकनकर्ता की तुलना में 1 में से 0.2 अंक अधिक स्कोर दिया। संक्षेप में, मॉडल अब कुशल मनुष्यों की बराबरी कर सकते हैं या उन्हें हरा सकते हैं जहां सही उत्तर है - लेकिन जहां अनुसंधान स्वाद और व्यक्तिपरक निर्णय की आवश्यकता है, वास्तविक स्वायत्तता अभी भी कुछ हद तक दूर है।
संख्याओं के पीछे अनिश्चितता
METR अपने स्वयं के आंकड़ों को खारिज करता है: मानव कार्य समय का केवल 9% वास्तविक समयबद्ध आधार रेखा से आता है, बाकी अनुमान हैं, और 40-घंटे के बिंदु अनुमान के आसपास 95% अंतराल लगभग 12 घंटे से लेकर 1,000 घंटे से अधिक तक चलता है। रिपोर्ट में कहा गया है कि एआई अनुसंधान और विकास में जल्द ही बड़ी गति आने की संभावना से इनकार करने के लिए सार्वजनिक सबूत बहुत कम हैं, और टीम 'केंद्रीय प्रश्नों के बारे में काफी अनिश्चित बनी हुई है।' एमआईटी टेक्नोलॉजी रिव्यू ने पहले चेतावनी दी है कि समय-क्षितिज चार्ट व्यापक रूप से साझा किया जाता है - और व्यापक रूप से गलत व्याख्या की जाती है।
मूल्यांकन को स्वायत्त अनुसंधान की दिशा में एआई के मार्ग का निर्धारण करने के लिए एक महत्वपूर्ण समन्वय के रूप में देखा जाता है। METR 16 नवंबर को घोषित एम्बेडेड सुरक्षा आकलन OpenAI भी चलाता है, जो क्षमता सीमा की निगरानी जारी रखता है। निष्कर्ष दोनों तरीकों से कटता है: सत्यापन योग्य प्रोग्रामिंग कार्यों पर प्रगति आश्चर्यजनक है, लेकिन निर्णय - स्पष्ट उत्तर कुंजी के बिना शोध करने की क्षमता - अभी तक पार नहीं की गई है।
N環球 
💬 Comments
No comments yet. Be the first!