Оновлення METR: передові моделі ШІ тепер виконують тижневі завдання приблизно вдвічі рідше

20 листопада некомерційний експерт зі штучного інтелекту METR опублікував свою останню квартальну оцінку: GPT-6 Astra від OpenAI і Claude Opus 5.5 від Anthropic тепер мають 50% часовий горизонт приблизно 40 і 39 годин відповідно, порівняно з 16 годинами шість місяців тому. Але у відкритих завданнях, які вимагають дослідницької оцінки, моделі все ще значно відстають від людей.
Некомерційна організація з оцінки штучного інтелекту METR опублікувала свою останню квартальну оцінку можливостей (Time Horizon 2, або TH2) 20 листопада. Її головний висновок: GPT-6 Astra від OpenAI і Claude Opus 5.5 від Anthropic тепер мають 50% часовий горизонт приблизно 40 годин і 39 годин відповідно — це означає, що, зіткнувшись із завданням, для якого кваліфікований експерт-людина потребує повноцінної роботи. тижня провідні моделі тепер мають приблизно 50-50 шансів завершити це самостійно. Півроку тому цей показник становив 16 годин.
Що означає 40 годин
Часовий горизонт METR не вимірює, як довго модель може працювати безперервно. Він вимірює складність завдання: тривалість завдання в годинах людини-експерта, за яку модель досягає успіху приблизно в половині випадків. METR каже, що ця цифра подвоюється приблизно кожні 3,6 місяця з 95% довірчим інтервалом від 2,08 до 4,94 місяця. У звіті також зазначається, що під час виконання завдань моделі зазвичай працюють у кілька разів швидше за людей — метрика відстежує межі можливостей, а не години роботи.
Топ-моделі обійшли найнятих експертів за трьома критеріями
За трьома автоматично оціненими тестовими завданнями найефективніша модель перевершила всіх спеціалістів, найнятих для того самого завдання: Reverse Conway, 0,208 для топ-моделі проти 0,137 для найкращого новобранця; Minecraft Bot, 0,175 проти 0,055; і Навчання програми, 0,443 проти 0,042. Найняті спеціалісти зафіксували 39, 160 та 45 годин роботи за трьома завданнями. Набір TH2 додає 36 нових завдань у 12 сімействах завдань у поєднанні з 222 старими завданнями в TH1.1 і 75 завданнями MirrorCode, що охоплюють інженерію програмного забезпечення, машинне навчання та кібербезпеку.
Судження залишається слабким місцем
У відкритих дослідницьких завданнях без чіткого стандарту оцінки моделі явно відстають. У тесті «Виготовлення завдань METR» жодна модель не створила оцінювального дизайну, який співробітники METR визнали придатним для негайного використання; у тесті, який оцінював філософські аргументи, моделі також не поступалися людям. Також виявилося, що оцінювачі штучного інтелекту надто щедрі до сильніших моделей: в одному тесті Opus 5.5 оцінив роботу GPT-6 Astra приблизно на 0,2 бала з 1 вище, ніж оцінювач-людина. Коротше кажучи, моделі тепер можуть зрівнятися з досвідченими людьми або перевершити їх там, де є правильна відповідь, але там, де потрібні дослідницький смак і суб’єктивне судження, до справжньої автономії ще далеко.
Невизначеність, що стоїть за цифрами
METR знижує власні цифри: лише 9% часу виконання людських завдань випливає з реального базового рівня, решта є прогнозами, а 95%-й інтервал навколо 40-годинної точкової оцінки становить приблизно від 12 годин до понад 1000 годин. У звіті говориться, що публічних доказів занадто мало, щоб виключити значне прискорення досліджень і розробок штучного інтелекту найближчим часом, і що команда «залишається значно невизначеною щодо основних питань». MIT Technology Review раніше попереджав, що діаграма часового горизонту широко розповсюджується та часто неправильно тлумачиться.
Оцінка розглядається як ключова координата для оцінки шляху ШІ до автономних досліджень. METR також проводить оцінку вбудованої безпеки OpenAI, оголошену 16 листопада, продовжуючи моніторинг межі можливостей. Висновок є неоднозначним: прогрес у виконанні завдань програмування, які можна перевірити, є вражаючим, але судження — здатність проводити дослідження без чіткого ключа відповіді — ще не перекреслено.
N環球 
💬 Comments
No comments yet. Be the first!