N環球 N GLOBE
美国・科技

METR 最新评估:顶尖 AI 模型约半数机率完成需人类一周的任务

· N GLOBE

非营利 AI 评测机构 METR 11 月 20 日发布最新季度评估:OpenAI 的 GPT-6 Astra 与 Anthropic 的 Claude Opus 5.5,在需人类专家约 40 小时的任务上,成功率约五成;半年前这一数字还是 16 小时。但在需要研究判断力的开放式任务上,模型仍明显落后。

非营利人工智能评测机构 METR 11 月 20 日发布最新季度能力评估(Time Horizon 2,简称 TH2),结果显示:OpenAI 的 GPT-6 Astra 与 Anthropic 的 Claude Opus 5.5,在「50% 时间范围」指标上分别达到约 40 小时与 39 小时——也就是说,面对一项熟练人类专家需要整整一个工作周才能完成的任务,顶尖模型现在大约有一半机率独立完成。半年前,这一数字还是 16 小时。

40 小时是什么概念

METR 的「时间范围」并非指模型连续运行多久,而是指任务难度:以人类专家完成同一任务所需的时间来衡量,模型在该时长的任务上有五成成功率。METR 指出,这一指标大约每 3.6 个月翻一番,95% 置信区间为 2.08 至 4.94 个月。报告同时提醒,成功完成的任务,模型通常比人类快数倍;衡量的是能力边界,而非工作时长。

三项基准测试全面超越受聘专家

在三项可自动评分的基准任务中,表现最好的模型全部胜过为同一任务受聘的人类专家:逆向康威生命游戏,模型 0.208 分、受聘专家最佳 0.137 分;Minecraft 机械人,0.175 分对 0.055 分;训练程式,0.443 分对 0.042 分。受聘专家在三项任务上合共投入 39、160 与 45 小时。TH2 套件新增 36 项任务、横跨 12 个任务家族,再结合 TH1.1 的 222 项旧任务与 75 项 MirrorCode 任务综合评估,覆盖软件工程、机器学习与网络安全等领域。

判断力仍是短板

但在缺乏明确评分标准的开放式研究任务上,模型明显落后。在「设计评测任务」测试中,没有任何模型产出的评测设计达到 METR 员工「可直接使用」的标准;在哲学论证评分测试中,模型亦不及人类。此外,AI 评分员被发现对更强模型过于宽容:一次测试中,Opus 5.5 给 GPT-6 Astra 的评分比人类评分员高出约 0.2 分(满分 1 分)。换言之,模型在有明确答案的任务上已能匹敌甚至超越人类专家,在需要研究品味与主观判断的环节,距离真正自主仍有一段路。

数字背后的误差与保留

METR 自己对数字打了折扣:只有 9% 的人类任务耗时来自真实计时基线,其余均为推算;40 小时的点估计,95% 区间从约 12 小时到逾 1,000 小时不等。报告直言,现有公开证据不足以排除 AI 研发速度近期大幅跃升的可能,研究团队对核心问题「仍有高度不确定性」。《麻省理工科技评论》亦曾提醒,这张时间范围图广为流传、也广被误读。

这份评估被视为衡量 AI 走向自主研发的关键座标。METR 同时负责 OpenAI 11 月 16 日宣布的嵌入式安全评估安排,持续监测前沿模型的能力边界。报告的结论是双面的:可验证的程式任务上,进步速度惊人;但要让 AI 真正独立从事研究工作,判断力这一关还没有过。

💬 留言

暂时还没有留言,来抢沙发!