Cần 59 tấm wafer để giữ một mô hình 3 nghìn tỷ tham số: Cerebras hiển thị toán học Kimi K3 của nó

Các mô hình lớn hơn có nghĩa là chi phí phần cứng lớn hơn. Trong một bài đăng kỹ thuật ngày 22 tháng 10, nhà sản xuất chip AI Cerebras đã tìm ra những gì cần thiết để lắp Kimi K3 có khoảng 3 nghìn tỷ thông số của Moonshot AI vào các chip quy mô wafer của mình và thực sự phục vụ người dùng với nó: tổng cộng 59 tấm wafer. Đó không phải là thông số kỹ thuật của một máy mà là toàn bộ bố cục phần cứng.

Con số 59 đến từ đâu

Bắt đầu với việc lưu trữ mô hình: Cerebras giả sử mỗi tham số được lưu trữ trong 4 bit, do đó, chỉ riêng 3 nghìn tỷ tham số có trọng số đã lên tới khoảng 1,5 terabyte; với 44 GB bộ nhớ trên chip cho mỗi tấm wafer, riêng trọng lượng cần tối thiểu khoảng 35 tấm wafer trước khi có chỗ cho yêu cầu của người dùng. Kimi K3 có 93 lớp: 69 lớp chú ý tuyến tính và 24 lớp chú ý dày đặc. Các lớp chú ý dày đặc lưu trữ bộ nhớ đệm KV phát triển theo độ dài yêu cầu, vì vậy Cerebras cung cấp cho mỗi lớp một tấm wafer riêng; các lớp chú ý tuyến tính có hai lớp trên mỗi tấm wafer trên 35 tấm wafer; cả hai cộng lại thành 59. Phép tính cũng giả định bộ đệm KV 8 bit và yêu cầu trung bình là 256.000 mã thông báo, đồng thời công ty quảng cáo tốc độ đầu ra từ 1.000 đến hơn 2.000 mã thông báo mỗi giây cho các mô hình nhiều nghìn tỷ tham số.

Thông báo trước quan trọng: đây chưa phải là kết quả đo được

Ranh giới phải được vạch ra rõ ràng: Cerebras chưa xác định liệu bố cục Kimi K3 có thực sự chạy hay không và chưa công bố điều kiện điểm chuẩn đầy đủ, mức tiêu thụ điện năng đo được hoặc số lượng người dùng đồng thời rõ ràng mà bố cục hỗ trợ; con số từ 1.000 đến 2.000 mã thông báo mỗi giây là tốc độ được quảng cáo của công ty cho loại mô hình này, không phải là kết quả đo được cho bố cục này. Bản thân công ty cũng thừa nhận rằng chỉ riêng quy mô lô và tính đồng thời không tạo nên hiệu quả suy luận và thước đo thực sự phải là mã thông báo trên mỗi đơn vị năng lượng ở cùng tốc độ đầu ra. Cũng lưu ý rằng Cerebras làm tròn Kimi K3 tới khoảng 3 nghìn tỷ tham số, trong khi tài liệu mô hình của Alibaba Cloud liệt kê 2,8 nghìn tỷ với cửa sổ ngữ cảnh một triệu mã thông báo – mức trần khả năng, không giống với độ dài yêu cầu trung bình được giả định trong tính toán.

Tiền lệ của phương pháp này là quy trình đa hệ thống trước đây của Cerebras dành cho GPT-5.6 Sol, được quảng cáo với tốc độ lên tới 750 mã thông báo mỗi giây; đó là tiền lệ của phương pháp, không phải là phiếu điểm của Kimi K3. Để tuyên bố về 59 tấm wafer có hiệu lực, kết quả phân phối tiếp theo phải là phép đo theo cùng một giả định: kiểu máy và độ chính xác, độ dài và tải yêu cầu, số lượng phần cứng cũng như tốc độ và công suất cùng nhau.