N環球 N GLOBE
미국 기술

METR 업데이트: 이제 개척자 AI 모델이 일주일 동안 진행되는 작업을 절반 정도 완료합니다.

· N GLOBE

비영리 AI 평가업체인 METR은 11월 20일에 최신 분기별 평가를 발표했습니다. OpenAI의 GPT-6 Astra와 Anthropic의 Claude Opus 5.5는 이제 6개월 전의 16시간보다 늘어난 각각 약 40시간과 39시간의 50% 시간 범위를 갖습니다. 그러나 연구 판단이 필요한 개방형 작업에서는 모델이 여전히 인간보다 훨씬 뒤떨어져 있습니다.

비영리 AI 평가 기관 METR은 11월 20일에 최신 분기별 기능 평가(Time Horizon 2 또는 TH2)를 발표했습니다. 헤드라인 결과: OpenAI의 GPT-6 Astra와 Anthropic의 Claude Opus 5.5는 이제 각각 약 40시간과 39시간의 50% 시간 범위를 갖게 되었습니다. 즉, 숙련된 인간 전문가가 일주일 내내 작업해야 하는 작업에 직면했을 때 선두 모델의 확률은 이제 약 50%입니다. 스스로 완성하는 것. 6개월 전에는 그 수치가 16시간이었습니다.

40시간의 의미

METR의 시간 범위는 모델이 지속적으로 실행될 수 있는 기간을 측정하지 않습니다. 이는 작업 난이도를 측정합니다. 즉, 모델이 약 절반의 시간 동안 성공하는 인간-전문가 시간 단위의 작업 길이입니다. METR에 따르면 이 수치는 대략 3.6개월마다 두 배로 증가하며 95% 신뢰 구간은 2.08~4.94개월입니다. 보고서는 또한 그들이 수행하는 작업에서 모델이 일반적으로 인간보다 몇 배 더 빠르다고 지적합니다. 측정 기준은 근무 시간이 아닌 역량 경계를 추적합니다.

상위 모델이 고용된 전문가를 세 가지 벤치마크에서 이겼습니다.

자동으로 채점된 세 가지 벤치마크 작업에서 가장 성과가 좋은 모델은 동일한 작업에 고용된 모든 전문가를 능가했습니다. Reverse Conway, 최고 모델의 경우 0.208, 최고 모집의 경우 0.137; Minecraft 봇, 0.175 대 0.055; 0.042에 대해 0.443으로 프로그램을 훈련합니다. 고용된 전문가는 세 가지 작업에 걸쳐 총 39시간, 160시간, 45시간의 작업을 기록했습니다. TH2 제품군에는 소프트웨어 엔지니어링, 기계 학습 및 사이버 보안을 포괄하는 TH1.1의 이전 작업 222개 및 MirrorCode 작업 75개와 결합된 12개 작업 제품군에 걸쳐 새로 작성된 작업 36개가 추가되었습니다.

판단력은 여전히 약점이다

명확한 채점 기준이 없는 개방형 연구 과제에서는 모델이 확실히 뒤떨어집니다. 'METR 작업 만들기' 테스트에서는 METR 직원이 즉시 사용할 수 있다고 판단한 평가 설계를 생성한 모델이 없었습니다. 철학적 주장을 채점하는 테스트에서도 모델은 인간보다 부족했습니다. AI 그레이더는 더 강력한 모델에 너무 관대하다는 사실도 밝혀졌습니다. 한 테스트에서 Opus 5.5는 GPT-6 Astra의 작업을 인간 평가자보다 1점 만점에 0.2점 더 높게 평가했습니다. 간단히 말해서, 이제 정답이 있는 경우 모델은 숙련된 인간과 일치하거나 이길 수 있습니다. 그러나 연구 취향과 주관적인 판단이 필요한 경우 진정한 자율성은 여전히 ​​어느 정도 떨어져 있습니다.

숫자 뒤에 숨은 불확실성

METR은 자체 수치를 할인합니다. 인간 작업 시간의 9%만이 실시간 기준에서 발생하고 나머지는 예측이며 40시간 지점 추정치 주변의 95% 간격은 약 12시간에서 1,000시간을 훨씬 넘는 시간입니다. 보고서는 공개 증거가 너무 얇아 AI 연구 개발이 곧 가속화될 것이라는 점을 배제할 수 없으며 팀은 '핵심 질문에 대해 상당히 불확실한 상태'라고 밝혔습니다. MIT Technology Review는 이전에 시간-수평 차트가 널리 공유되고 있으며 광범위하게 잘못 해석되고 있다고 경고한 바 있습니다.

평가는 자율 연구를 향한 AI의 경로를 판단하는 핵심 좌표로 간주됩니다. METR은 또한 11월 16일에 발표된 OpenAI가 내장된 안전 평가를 실행하여 역량 경계를 계속 모니터링하고 있습니다. 결론은 두 가지 방식으로 나뉜다. 검증 가능한 프로그래밍 작업의 진전은 놀랍지만, 명확한 답 없이 연구를 수행할 수 있는 능력에 대한 판단은 아직 이루어지지 않았다.

💬 Comments

No comments yet. Be the first!