N環球 N GLOBE
美國・科技

METR 最新評估:頂尖 AI 模型約半數機率完成需人類一週的任務

· N GLOBE

非營利 AI 評測機構 METR 11 月 20 日發布最新季度評估:OpenAI 的 GPT-6 Astra 與 Anthropic 的 Claude Opus 5.5,在需人類專家約 40 小時的任務上,成功率約五成;半年前這一數字還是 16 小時。但在需要研究判斷力的開放式任務上,模型仍明顯落後。

非營利人工智能評測機構 METR 11 月 20 日發布最新季度能力評估(Time Horizon 2,簡稱 TH2),結果顯示:OpenAI 的 GPT-6 Astra 與 Anthropic 的 Claude Opus 5.5,在「50% 時間範圍」指標上分別達到約 40 小時與 39 小時——也就是說,面對一項熟練人類專家需要整整一個工作週才能完成的任務,頂尖模型現在大約有一半機率獨立完成。半年前,這一數字還是 16 小時。

40 小時是什麼概念

METR 的「時間範圍」並非指模型連續運行多久,而是指任務難度:以人類專家完成同一任務所需的時間來衡量,模型在該時長的任務上有五成成功率。METR 指出,這一指標大約每 3.6 個月翻一番,95% 置信區間為 2.08 至 4.94 個月。報告同時提醒,成功完成的任務,模型通常比人類快數倍;衡量的是能力邊界,而非工作時長。

三項基準測試全面超越受聘專家

在三項可自動評分的基準任務中,表現最好的模型全部勝過為同一任務受聘的人類專家:逆向康威生命遊戲,模型 0.208 分、受聘專家最佳 0.137 分;Minecraft 機械人,0.175 分對 0.055 分;訓練程式,0.443 分對 0.042 分。受聘專家在三項任務上合共投入 39、160 與 45 小時。TH2 套件新增 36 項任務、橫跨 12 個任務家族,再結合 TH1.1 的 222 項舊任務與 75 項 MirrorCode 任務綜合評估,覆蓋軟件工程、機器學習與網絡安全等領域。

判斷力仍是短板

但在缺乏明確評分標準的開放式研究任務上,模型明顯落後。在「設計評測任務」測試中,沒有任何模型產出的評測設計達到 METR 員工「可直接使用」的標準;在哲學論證評分測試中,模型亦不及人類。此外,AI 評分員被發現對更強模型過於寬容:一次測試中,Opus 5.5 給 GPT-6 Astra 的評分比人類評分員高出約 0.2 分(滿分 1 分)。換言之,模型在有明確答案的任務上已能匹敵甚至超越人類專家,在需要研究品味與主觀判斷的環節,距離真正自主仍有一段路。

數字背後的誤差與保留

METR 自己對數字打了折扣:只有 9% 的人類任務耗時來自真實計時基線,其餘均為推算;40 小時的點估計,95% 區間從約 12 小時到逾 1,000 小時不等。報告直言,現有公開證據不足以排除 AI 研發速度近期大幅躍升的可能,研究團隊對核心問題「仍有高度不確定性」。《麻省理工科技評論》亦曾提醒,這張時間範圍圖廣為流傳、也廣被誤讀。

這份評估被視為衡量 AI 走向自主研發的關鍵座標。METR 同時負責 OpenAI 11 月 16 日宣布的嵌入式安全評估安排,持續監測前沿模型的能力邊界。報告的結論是雙面的:可驗證的程式任務上,進步速度驚人;但要讓 AI 真正獨立從事研究工作,判斷力這一關還沒有過。

💬 留言

暫時還沒有留言,來搶沙發!