N環球 N GLOBE
米国のテクノロジー

METR アップデート: フロンティア AI モデルは 1 週間のタスクを約半分の時間で完了できるようになりました

· N GLOBE

非営利の AI 評価機関である METR は、11 月 20 日に最新の四半期評価を発表しました。OpenAI の GPT-6 Astra と Anthropic の Claude Opus 5.5 の 50% の時間軸は、6 か月前の 16 時間からそれぞれ約 40 時間と 39 時間になりました。しかし、研究上の判断が必要なオープンエンドのタスクでは、モデルは依然として人間に大きく遅れをとっています。

非営利の AI 評価団体 METR は、最新の四半期ごとの能力評価 (Time Horizon 2、または TH2) を 11 月 20 日に発表しました。その見出しの結果は、OpenAI の GPT-6 Astra と Anthropic の Claude Opus 5.5 の 50% のタイムホライズンがそれぞれ約 40 時間と 39 時間であるということです。つまり、熟練した人間の専門家であれば 1 週間丸々労働するタスクに直面した場合、主要なモデルは現在およそ 39 時間のタイムホライズンを持っています。自力で完成できる可能性は五分五分です。 6 か月前、この数字は 16 時間でした。

40時間の意味

METR の時間軸は、モデルが連続して実行できる時間を測定するものではありません。これはタスクの難易度、つまりモデルが約半分の時間で成功するタスクの長さを人間のエキスパート時間で測定します。 METRによれば、この数字はおよそ3.6か月ごとに倍増しており、95%信頼区間は2.08~4.94か月である。レポートはまた、モデルが完了するタスクでは、通常、人間よりも数倍高速であることも指摘しています。この指標は、作業時間ではなく、能力のフロンティアを追跡するものです。

トップモデルが 3 つのベンチマークで雇われた専門家を上回りました

自動的に採点された 3 つのベンチマーク タスクでは、最もパフォーマンスの高いモデルが、同じタスクに雇用されたすべてのスペシャリストを上回りました。リバース コンウェイ、最上位モデルの 0.208 に対して、最も優れた新入社員の 0.137。 Minecraft ボット、0.175 対 0.055;プログラムをトレーニングする、0.443 対 0.042。雇用された専門家は、3 つのタスク全体で 39 時間、160 時間、45 時間の作業を記録しました。 TH2 スイートには、12 のタスク ファミリにわたる 36 の新しく作成されたタスクが追加され、TH1.1 の 222 の古いタスクと、ソフトウェア エンジニアリング、機械学習、サイバーセキュリティにわたる 75 の MirrorCode タスクが組み合わされています。

判断力が依然として弱点

明確な採点基準がない自由形式の研究タスクでは、モデルは明らかに遅れています。 「METR タスクの作成」テストでは、METR スタッフがすぐに使用できると判断した評価設計を作成したモデルはありませんでした。哲学的議論を採点するテストでも、モデルは人間には及ばなかった。 AI グレーダーは、より強力なモデルに対して寛大すぎることも判明しました。あるテストでは、Opus 5.5 は GPT-6 Astra の作業を人間の評価者よりも 1 点中約 0.2 ポイント高く採点しました。つまり、正しい答えがある場合、モデルは熟練した人間と肩を並べたり、打ち負かしたりできるようになりましたが、研究のセンスや主観的な判断が必要な場合、真の自律性が得られるのはまだ先のことです。

数字の背後にある不確実性

METR は独自の数値を割り引いています。人間の作業時間のうちリアルタイムのベースラインから得られるのは 9% のみで、残りは予測であり、40 時間の時点推定値の周囲の 95% の間隔は約 12 時間から 1,000 時間をはるかに超えます。報告書は、AIの研究開発が近いうちに大幅に加速する可能性を排除するには公的証拠があまりにも希薄で、研究チームは「中心的な疑問について依然としてかなり不確実性が残っている」と述べている。 MIT Technology Review は以前、時間軸チャートが広く共有されており、広く誤解されていると警告しました。

この評価は、AI の自律研究への道を判断するための重要な座標とみなされています。 METR は、OpenAI が 11 月 16 日に発表した組み込み安全性評価も実施し、機能のフロンティアを監視し続けています。結論は両方の方向を切り取っています。検証可能なプログラミング タスクの進歩は目覚ましいものですが、明確な答えがないまま研究を行う能力という判断力はまだ超えられていません。

💬 Comments

No comments yet. Be the first!