Pag-update ng METR: Ang mga modelo ng frontier AI ay tinatapos na ngayon ang mga gawain sa loob ng isang linggo nang halos kalahati ng oras

Inilathala ng non-profit AI evaluator na METR ang pinakabagong quarterly assessment nito noong Nobyembre 20: Ang GPT-6 Astra ng OpenAI at Claude Opus 5.5 ng Anthropic ay mayroon na ngayong 50% na abot-tanaw ng oras na humigit-kumulang 40 at 39 na oras ayon sa pagkakabanggit, mula sa 16 na oras anim na buwan na ang nakalipas. Ngunit sa mga open-ended na gawain na nangangailangan ng paghuhusga sa pananaliksik, ang mga modelo ay nahuhuli pa rin sa mga tao.
Ang non-profit na AI evaluation organization na METR ay nag-publish ng kanilang pinakabagong quarterly capability assessment (Time Horizon 2, o TH2) noong Nobyembre 20. Ang headline finding nito: OpenAI's GPT-6 Astra at Anthropic's Claude Opus 5.5 ay mayroon na ngayong 50% time horizon na humigit-kumulang 40 oras at 39 na oras sa isang linggo, na nangangahulugang ang isang dalubhasa sa trabaho ayon sa pagkakabanggit — ibig sabihin na ang isang dalubhasa sa trabaho ayon sa pagkakabanggit ang mga modelo ngayon ay may humigit-kumulang limampu't limampung pagkakataon na makumpleto ito nang mag-isa. Anim na buwan na ang nakalipas, ang bilang na iyon ay 16 na oras.
Ano ang ibig sabihin ng 40 oras
Hindi sinusukat ng time horizon ng METR kung gaano katagal maaaring tumakbo ang isang modelo nang tuluy-tuloy. Sinusukat nito ang kahirapan sa gawain: ang haba ng gawain, sa mga oras ng tao-eksperto, kung saan nagtagumpay ang isang modelo nang halos kalahati ng oras. Sinasabi ng METR na ang bilang ay dumoble halos bawat 3.6 na buwan, na may 95% na agwat ng kumpiyansa na 2.08 hanggang 4.94 na buwan. Ang ulat ay nagsasaad din na sa mga gawaing kanilang nakumpleto, ang mga modelo ay karaniwang ilang beses na mas mabilis kaysa sa mga tao — sinusubaybayan ng sukatan ang hangganan ng kakayahan, hindi ang mga oras ng pagtatrabaho.
Tinalo ng mga nangungunang modelo ang mga upahang eksperto sa tatlong benchmark
Sa tatlong awtomatikong nakapuntos na benchmark na mga gawain, tinalo ng pinakamahusay na gumaganap na modelo ang bawat espesyalista na kinuha para sa parehong gawain: Reverse Conway, 0.208 para sa nangungunang modelo laban sa 0.137 para sa pinakamahusay na recruit; Minecraft Bot, 0.175 laban sa 0.055; at Train a Program, 0.443 laban sa 0.042. Ang mga upahang espesyalista ay nag-log ng 39, 160 at 45 na oras ng kabuuang trabaho sa tatlong gawain. Ang TH2 suite ay nagdaragdag ng 36 na bagong akda na gawain sa 12 pamilya ng gawain, na sinamahan ng 222 mas lumang gawain sa TH1.1 at 75 na gawain sa MirrorCode, sumasaklaw sa software engineering, machine learning at cybersecurity.
Ang paghatol ay nananatiling mahinang lugar
Sa mga bukas na gawain sa pananaliksik na walang malinaw na pamantayan sa pagmamarka, malinaw na nahuhuli ang mga modelo. Sa pagsusulit na 'Paggawa ng Mga Gawain sa METR', walang modelong gumawa ng disenyo ng pagsusuri na agad na hinuhusgahan ng kawani ng METR na magagamit; sa isang pagsubok na nagbibigay ng mga pilosopikal na argumento, ang mga modelo ay kulang din sa mga tao. Napag-alaman din na masyadong mapagbigay ang mga grader ng AI sa mas malalakas na modelo: sa isang pagsubok, nakakuha ang Opus 5.5 ng GPT-6 na gawa ng Astra ng humigit-kumulang 0.2 puntos sa 1 na mas mataas kaysa sa ginawa ng isang human rater. Sa madaling salita, maaari na ngayong tumugma o matalo ng mga modelo ang mga bihasang tao kung saan may tamang sagot — ngunit kung saan kailangan ang panlasa ng pananaliksik at pansariling paghuhusga, malayo pa rin ang tunay na awtonomiya.
Ang kawalan ng katiyakan sa likod ng mga numero
Ang METR ay may diskwento sa sarili nitong mga numero: 9% lang ng mga oras ng gawain ng tao ang nagmumula sa isang tunay na naka-time na baseline, ang natitira ay mga projection, at ang 95% na pagitan sa paligid ng 40-oras na pagtatantya ng punto ay tumatakbo mula sa humigit-kumulang 12 oras hanggang higit sa 1,000 oras. Ang ulat ay nagsasabi na ang pampublikong ebidensiya ay masyadong manipis upang ibukod ang isang malaking bilis sa pananaliksik at pag-unlad ng AI sa lalong madaling panahon, at na ang koponan ay 'nananatiling makabuluhang hindi sigurado tungkol sa mga pangunahing katanungan.' Ang MIT Technology Review ay dati nang nagbabala na ang time-horizon chart ay malawak na ibinabahagi — at malawak na napagkakamalan.
Ang pagtatasa ay nakikita bilang isang pangunahing coordinate para sa paghusga sa landas ng AI patungo sa autonomous na pananaliksik. Pinapatakbo din ng METR ang mga naka-embed na pagtasa sa kaligtasan na inihayag ng OpenAI noong Nobyembre 16, na patuloy na sinusubaybayan ang hangganan ng kakayahan. Ang konklusyon ay nagbabawas sa parehong paraan: ang pag-unlad sa mga nabe-verify na mga gawain sa programming ay kapansin-pansin, ngunit ang paghatol — ang kakayahang magsaliksik nang walang malinaw na susi ng sagot — ay hindi pa natatawid.
N環球 
💬 Comments
No comments yet. Be the first!