N環球 N GLOBE
Công nghệ Mỹ

Thought Machines phát hành mẫu mở Inkling 2 Mini chạy cục bộ trên máy tính xách tay

· N GLOBE

Phòng thí nghiệm máy tư duy đã phát hành Inkling 2 Mini, một mô hình có trọng lượng mở với 26,4 tỷ tham số trong gói khoảng 20 GB, có thể chạy cục bộ trên máy Mac 32 GB hoặc một DGX Spark duy nhất, theo giấy phép Apache 2.0.

Phòng thí nghiệm Máy tư duy, do Mira Murati đứng đầu, đã phát hành mẫu máy có trọng lượng mở Inkling 2 Mini vào ngày 20 tháng 11, giới thiệu đây là mẫu máy chạy cục bộ trên máy tính xách tay: tổng cộng 26,4 tỷ thông số trong một gói khoảng 20 GB, có thể chạy trên máy Mac 32 GB hoặc một DGX Spark duy nhất, theo giấy phép Apache 2.0.

Kiến trúc vòng lặp: suy nghĩ nhiều hơn với ít tham số hơn

Inkling 2 Mini sử dụng kiến trúc biến áp vòng lặp: trong số 24 lớp của nó, 12 lớp ở giữa được chạy ba lần cho mỗi mã thông báo, cho phép mô hình "nghĩ lại nhiều lần" với ít tham số hơn. Nó kích hoạt 3,4 tỷ tham số trên mỗi mã thông báo hoặc 5,4 tỷ tham số hiệu quả đếm các vòng lặp, với độ dài ngữ cảnh là 1 triệu mã thông báo.

Hiệu suất và cấp phép

Inkling 2 Mini đạt 79,2% trên băng ghế dự bị SWE đã được xác minh, mã hóa tác nhân dẫn đầu trong số các mô hình mở có dưới 100 tỷ tham số. Đầu tháng này, công ty đã mở nguồn cho Inkling 2 Small; Mini là thành viên mới nhẹ hơn trong gia đình, nhắm đến các nhà phát triển cần triển khai cục bộ hoặc trong các môi trường hạn chế.

💬 Comments

No comments yet. Be the first!