N環球 N GLOBE
Công nghệ Mỹ

Cập nhật METR: các mô hình AI biên giới hiện hoàn thành các nhiệm vụ kéo dài một tuần trong khoảng một nửa thời gian

· N GLOBE

Nhà đánh giá AI phi lợi nhuận METR đã công bố đánh giá hàng quý mới nhất của mình vào ngày 20 tháng 11: GPT-6 Astra của OpenAI và Claude Opus 5.5 của Anthropic hiện có khoảng thời gian 50% lần lượt là khoảng 40 và 39 giờ, tăng so với 16 giờ sáu tháng trước. Nhưng đối với những nhiệm vụ không giới hạn đòi hỏi khả năng phán đoán nghiên cứu, các mô hình vẫn tụt hậu rất xa so với con người.

Tổ chức đánh giá AI phi lợi nhuận METR đã công bố bản đánh giá năng lực hàng quý mới nhất của mình (Time Horizon 2, hay TH2) vào ngày 20 tháng 11. Phát hiện tiêu đề của nó: GPT-6 Astra của OpenAI và Claude Opus 5.5 của Anthropic hiện có khoảng thời gian 50%, tương ứng là khoảng 40 giờ và 39 giờ - nghĩa là, đối mặt với một nhiệm vụ đòi hỏi một chuyên gia con người lành nghề phải mất cả tuần làm việc, các mô hình hàng đầu hiện có khoảng 50% cơ hội hoàn thành nó trong thời gian của họ. sở hữu. Sáu tháng trước, con số đó là 16 giờ.

40 giờ có ý nghĩa gì

Khoảng thời gian của METR không đo lường thời gian một mô hình có thể chạy liên tục. Nó đo lường độ khó của nhiệm vụ: độ dài của nhiệm vụ, tính bằng giờ con người-chuyên gia, tại đó mô hình thành công khoảng một nửa thời gian. METR cho biết con số này sẽ tăng gấp đôi sau mỗi 3,6 tháng, với khoảng tin cậy 95% là từ 2,08 đến 4,94 tháng. Báo cáo cũng lưu ý rằng khi thực hiện các nhiệm vụ, mô hình thường nhanh hơn con người vài lần - số liệu theo dõi giới hạn năng lực chứ không phải giờ làm việc.

Những người mẫu hàng đầu đánh bại các chuyên gia được thuê ở ba điểm chuẩn

Trong ba nhiệm vụ điểm chuẩn được chấm điểm tự động, mô hình hoạt động tốt nhất đã đánh bại mọi chuyên gia được thuê cho cùng một nhiệm vụ: Reverse Conway, 0,208 cho mô hình hàng đầu so với 0,137 cho người tuyển dụng tốt nhất; Minecraft Bot, 0,175 so với 0,055; và Đào tạo một chương trình, 0,443 so với 0,042. Các chuyên gia được thuê đã ghi lại tổng số giờ làm việc là 39, 160 và 45 cho ba nhiệm vụ. Bộ TH2 bổ sung 36 nhiệm vụ mới được tạo trên 12 nhóm nhiệm vụ, kết hợp với 222 nhiệm vụ cũ hơn trong TH1.1 và 75 nhiệm vụ MirrorCode, bao gồm kỹ thuật phần mềm, học máy và an ninh mạng.

Sự phán xét vẫn là điểm yếu

Đối với các nhiệm vụ nghiên cứu mở không có tiêu chuẩn chấm điểm rõ ràng, các mô hình rõ ràng bị tụt hậu. Trong thử nghiệm 'Thực hiện nhiệm vụ METR', không có mô hình nào tạo ra thiết kế đánh giá mà nhân viên METR đánh giá là có thể sử dụng được ngay lập tức; trong một bài kiểm tra chấm điểm các lập luận triết học, các mô hình cũng không bằng con người. Các chuyên gia chấm điểm AI cũng được cho là quá hào phóng với các mô hình mạnh hơn: trong một bài kiểm tra, Opus 5.5 đã cho điểm tác phẩm của GPT-6 Astra cao hơn khoảng 0,2/1 điểm so với người đánh giá con người. Nói tóm lại, các mô hình giờ đây có thể sánh ngang hoặc đánh bại những con người có kỹ năng khi có câu trả lời đúng - nhưng khi cần có sở thích nghiên cứu và đánh giá chủ quan, thì quyền tự chủ thực sự vẫn còn ở một chặng đường dài.

Sự không chắc chắn đằng sau những con số

METR giảm giá số liệu của riêng mình: chỉ 9% thời gian thực hiện nhiệm vụ của con người đến từ đường cơ sở theo thời gian thực, phần còn lại là dự đoán và khoảng 95% xung quanh ước tính điểm 40 giờ kéo dài từ khoảng 12 giờ đến hơn 1.000 giờ. Báo cáo cho biết bằng chứng công khai quá mỏng để loại trừ khả năng sớm tăng tốc đáng kể trong nghiên cứu và phát triển AI và nhóm nghiên cứu “vẫn còn rất không chắc chắn về các câu hỏi trọng tâm”. MIT Technology Review trước đây đã cảnh báo rằng biểu đồ thời gian-chân trời được chia sẻ rộng rãi - và bị hiểu sai rộng rãi.

Đánh giá này được coi là điểm phối hợp chính để đánh giá con đường hướng tới nghiên cứu tự chủ của AI. METR cũng thực hiện các đánh giá an toàn nhúng mà OpenAI công bố vào ngày 16 tháng 11, tiếp tục theo dõi giới hạn năng lực. Kết luận cắt giảm cả hai cách: tiến độ thực hiện các nhiệm vụ lập trình có thể kiểm chứng là rất đáng chú ý, nhưng khả năng phán đoán - khả năng thực hiện nghiên cứu mà không có đáp án rõ ràng - vẫn chưa được vượt qua.

💬 Comments

No comments yet. Be the first!