Обновление METR: передовые модели ИИ теперь выполняют недельные задачи примерно в два раза быстрее

Некоммерческая организация по оценке искусственного интеллекта METR опубликовала свою последнюю квартальную оценку 20 ноября: GPT-6 Astra от OpenAI и Claude Opus 5.5 от Anthropic теперь имеют 50% временной горизонт, составляющий около 40 и 39 часов соответственно, по сравнению с 16 часами шесть месяцев назад. Но в открытых задачах, требующих исследовательского суждения, модели по-прежнему сильно отстают от людей.
Некоммерческая организация по оценке ИИ METR 20 ноября опубликовала свою последнюю ежеквартальную оценку возможностей (Time Horizon 2 или TH2). Ее главный вывод: GPT-6 Astra от OpenAI и Claude Opus 5.5 от Anthropic теперь имеют 50% временной горизонт около 40 часов и 39 часов соответственно. Это означает, что, столкнувшись с задачей, которая потребовала бы у квалифицированного специалиста-человека целой рабочей недели, у ведущих моделей теперь есть примерно пятьдесят на пятьдесят шансов. завершить его самостоятельно. Шесть месяцев назад этот показатель составлял 16 часов.
Что означают 40 часов
Временной горизонт METR не измеряет, как долго модель может работать непрерывно. Он измеряет сложность задачи: продолжительность задачи в часах работы человека, при которой модель достигает успеха примерно в половине случаев. METR сообщает, что эта цифра удваивается примерно каждые 3,6 месяца, при 95% доверительном интервале от 2,08 до 4,94 месяца. В отчете также отмечается, что при выполнении задач модели обычно в несколько раз быстрее людей — этот показатель отслеживает границу возможностей, а не рабочее время.
Топ-модели превосходят наемных экспертов по трем критериям
По трем автоматически оцениваемым эталонным задачам наиболее эффективная модель превзошла всех специалистов, нанятых для выполнения одной и той же задачи: Обратный Конвей: 0,208 для топ-модели против 0,137 для лучшего рекрута; Майнкрафт Бот, 0,175 против 0,055; и «Обучить программу» — 0,443 против 0,042. Нанятые специалисты суммарно отработали по трем задачам 39, 160 и 45 часов. Пакет TH2 добавляет 36 новых задач в 12 семейств задач в сочетании с 222 старыми задачами в TH1.1 и 75 задачами MirrorCode, охватывающими разработку программного обеспечения, машинное обучение и кибербезопасность.
Суждение остается слабым местом
В открытых исследовательских задачах без четкого стандарта оценки модели явно отстают. В тесте «Постановка задач METR» ни одна модель не позволила создать схему оценки, которую сотрудники METR сочли бы пригодной для немедленного использования; В тесте на оценку философских аргументов модели также не дотягивали до людей. Оценщики ИИ также оказались слишком щедрыми по отношению к более сильным моделям: в одном тесте Opus 5.5 оценил работу GPT-6 Astra примерно на 0,2 балла из 1 выше, чем оценщик-человек. Короче говоря, модели теперь могут соответствовать или превосходить опытных людей там, где есть правильный ответ, но там, где необходим исследовательский вкус и субъективное суждение, до подлинной автономии еще далеко.
Неопределенность, скрывающаяся за цифрами
METR не учитывает собственные цифры: только 9% времени, затрачиваемого человеком на выполнение задач, основано на реальных базовых показателях, остальное — прогнозы, а 95%-ный интервал вокруг 40-часовой точечной оценки составляет от примерно 12 часов до значительно более 1000 часов. В отчете говорится, что публичных данных слишком мало, чтобы исключить значительное ускорение исследований и разработок в области ИИ в ближайшее время, и что команда «по-прежнему остается в значительной степени неуверенной в отношении центральных вопросов». MIT Technology Review ранее предупреждал, что диаграмма временного горизонта широко распространена и часто неверно истолковывается.
Оценка рассматривается как ключевой координата для оценки пути ИИ к автономным исследованиям. METR также проводит встроенные оценки безопасности, о которых OpenAI объявила 16 ноября, продолжая отслеживать границы возможностей. Вывод двоякий: прогресс в решении поддающихся проверке задач по программированию поразителен, но суждение — способность проводить исследования без четкого ключа ответа — еще не перечеркнуто.
N環球 
💬 Comments
No comments yet. Be the first!