METR புதுப்பிப்பு: எல்லைப்புற AI மாதிரிகள் இப்போது வார காலப் பணிகளை பாதி நேரம் முடிக்கின்றன

இலாப நோக்கற்ற AI மதிப்பீட்டாளர் METR தனது சமீபத்திய காலாண்டு மதிப்பீட்டை நவம்பர் 20 அன்று வெளியிட்டது: OpenAI இன் GPT-6 Astra மற்றும் Anthropic's Claude Opus 5.5 ஆகியவை இப்போது 50% நேரத் தொடுவானத்தை முறையே சுமார் 40 மற்றும் 39 மணிநேரங்களைக் கொண்டுள்ளன, இது ஆறு மாதங்களுக்கு முன்பு 16 மணிநேரமாக இருந்தது. ஆனால் ஆராய்ச்சி தீர்ப்பு தேவைப்படும் திறந்தநிலை பணிகளில், மாதிரிகள் இன்னும் மனிதர்களை விட மிகவும் பின்தங்கியுள்ளன.
இலாப நோக்கற்ற AI மதிப்பீட்டு நிறுவனமான METR அதன் சமீபத்திய காலாண்டு திறன் மதிப்பீட்டை (Time Horizon 2, அல்லது TH2) நவம்பர் 20 அன்று வெளியிட்டது. அதன் தலைப்புக் கண்டுபிடிப்பு: OpenAI's GPT-6 Astra மற்றும் Anthropic's Claude Opus 5.5 ஆகியவை இப்போது 50% நேரத் தொடுவானத்தைக் கொண்டுள்ளன - அதாவது 3 மணி நேரம் அதாவது 9 மணி நேரம் ஆகும். ஒரு திறமையான மனித நிபுணரை ஒரு வாரம் முழுவதுமாக எடுத்துக் கொள்ளுங்கள், முன்னணி மாடல்கள் இப்போது தாங்களாகவே அதை முடிக்க ஐம்பது-ஐம்பது வாய்ப்புகள் உள்ளன. ஆறு மாதங்களுக்கு முன்பு, அந்த எண்ணிக்கை 16 மணிநேரமாக இருந்தது.
40 மணிநேரம் என்றால் என்ன
METR இன் நேரத் தொடுவானம் ஒரு மாதிரி எவ்வளவு நேரம் தொடர்ந்து இயங்கும் என்பதை அளவிடாது. இது பணியின் சிரமத்தை அளவிடுகிறது: பணியின் நீளம், மனித-நிபுணர் மணிகளில், ஒரு மாதிரி பாதி நேரம் வெற்றி பெறும். METR இந்த எண்ணிக்கை ஒவ்வொரு 3.6 மாதங்களுக்கும் இரட்டிப்பாகிறது, 95% நம்பிக்கை இடைவெளி 2.08 முதல் 4.94 மாதங்கள் வரை உள்ளது. அவர்கள் செய்யும் பணிகளில், மாதிரிகள் பொதுவாக மனிதர்களை விட பல மடங்கு வேகமாக இருக்கும் என்றும் அறிக்கை குறிப்பிடுகிறது - மெட்ரிக் திறன் எல்லையை கண்காணிக்கிறது, வேலை நேரம் அல்ல.
சிறந்த மாடல்கள் மூன்று அளவுகோல்களில் பணியமர்த்தப்பட்ட நிபுணர்களை வென்றன
மூன்று தானாக அடித்த பெஞ்ச்மார்க் பணிகளில், சிறப்பாகச் செயல்படும் மாடல், அதே பணிக்காக பணியமர்த்தப்பட்ட ஒவ்வொரு நிபுணரையும் வென்றது: தலைகீழ் கான்வே, சிறந்த மாடலுக்கு 0.208, சிறந்த ஆட்சேர்ப்புக்கு 0.137; Minecraft Bot, 0.175 எதிராக 0.055; மற்றும் ஒரு திட்டத்தைப் பயிற்றுவிக்கவும், 0.042க்கு எதிராக 0.443. பணியமர்த்தப்பட்ட நிபுணர்கள் மூன்று பணிகளில் 39, 160 மற்றும் 45 மணிநேர மொத்த வேலைகளை பதிவு செய்தனர். TH2 தொகுப்பு 12 பணிக் குடும்பங்களில் 36 புதிதாக எழுதப்பட்ட பணிகளைச் சேர்க்கிறது, TH1.1 மற்றும் 75 MirrorCode பணிகளில் 222 பழைய பணிகளுடன் இணைந்து, மென்பொருள் பொறியியல், இயந்திர கற்றல் மற்றும் இணையப் பாதுகாப்பு ஆகியவை அடங்கும்.
தீர்ப்பு பலவீனமான இடமாக உள்ளது
தெளிவான ஸ்கோரிங் தரநிலை இல்லாமல் திறந்தநிலை ஆராய்ச்சி பணிகளில், மாதிரிகள் தெளிவாக பின்தங்கியுள்ளன. 'மேக்கிங் METR டாஸ்க்ஸ்' சோதனையில், எந்த மாதிரியும் ஒரு மதிப்பீட்டு வடிவமைப்பை உருவாக்கவில்லை, METR ஊழியர்கள் உடனடியாகப் பயன்படுத்த முடியும் என்று முடிவு செய்தனர்; தத்துவ வாதங்களை அடித்த ஒரு சோதனையில், மாதிரிகளும் மனிதர்களை விட குறைவாகவே இருந்தன. AI கிரேடர்கள் வலுவான மாடல்களுக்கு மிகவும் தாராளமாக இருப்பது கண்டறியப்பட்டது: ஒரு சோதனையில், ஓபஸ் 5.5 ஆனது GPT-6 அஸ்ட்ராவின் பணியை மனித மதிப்பீட்டாளர் செய்ததை விட 0.2 புள்ளிகள் அதிகம். சுருக்கமாக, மாதிரிகள் இப்போது திறமையான மனிதர்களுடன் பொருந்தலாம் அல்லது வெல்லலாம், அங்கு சரியான பதில் உள்ளது - ஆனால் ஆராய்ச்சி சுவை மற்றும் அகநிலை தீர்ப்பு தேவைப்படும் இடங்களில், உண்மையான சுயாட்சி இன்னும் சிறிது தூரத்தில் உள்ளது.
எண்களுக்குப் பின்னால் இருக்கும் நிச்சயமற்ற தன்மை
METR அதன் சொந்த புள்ளிவிவரங்களை தள்ளுபடி செய்கிறது: மனித பணி நேரங்களில் 9% மட்டுமே உண்மையான நேர அடிப்படையிலிருந்து வருகிறது, மீதமுள்ளவை கணிப்புகளாகும், மேலும் 40-மணிநேர புள்ளி மதிப்பீட்டில் 95% இடைவெளி சுமார் 12 மணிநேரத்தில் இருந்து 1,000 மணிநேரத்திற்கு மேல் இருக்கும். AI ஆராய்ச்சி மற்றும் மேம்பாட்டில் விரைவில் ஒரு பெரிய வேகத்தை நிராகரிக்க பொது சான்றுகள் மிகவும் மெல்லியதாக இருப்பதாக அறிக்கை கூறுகிறது, மேலும் குழு 'மத்திய கேள்விகள் குறித்து குறிப்பிடத்தக்க அளவில் நிச்சயமற்றதாகவே உள்ளது.' எம்ஐடி டெக்னாலஜி ரிவியூ முன்பு நேர-அடிவான விளக்கப்படம் பரவலாகப் பகிரப்படுகிறது - மற்றும் பரவலாக தவறாகப் புரிந்துகொள்ளப்படுகிறது என்று எச்சரித்துள்ளது.
தன்னாட்சி ஆராய்ச்சியை நோக்கிய AI இன் பாதையை மதிப்பிடுவதற்கான முக்கிய ஒருங்கிணைப்பாக மதிப்பீடு கருதப்படுகிறது. நவம்பர் 16 அன்று OpenAI அறிவித்த உட்பொதிக்கப்பட்ட பாதுகாப்பு மதிப்பீடுகளையும் METR இயக்குகிறது, இது திறன் எல்லையை தொடர்ந்து கண்காணிக்கிறது. முடிவு இரண்டு வழிகளையும் குறைக்கிறது: சரிபார்க்கக்கூடிய நிரலாக்க பணிகளின் முன்னேற்றம் குறிப்பிடத்தக்கது, ஆனால் தீர்ப்பு - தெளிவான பதில் விசை இல்லாமல் ஆராய்ச்சி செய்யும் திறன் - இன்னும் கடக்கப்படவில்லை.
N環球 
💬 Comments
No comments yet. Be the first!