DeepX của Hàn Quốc ra mắt chip AI DX-M2 thế hệ thứ hai với công nghệ LPDDR5x PIM của Samsung ở công suất 5 watt

Công ty khởi nghiệp chip AI biên của Hàn Quốc DeepX đã khai thác bộ tăng tốc AI thế hệ thứ hai, DX-M2, sử dụng công nghệ bộ xử lý trong bộ nhớ (PIM) LPDDR5x của Samsung Memory, nhằm mục đích cho phép robot, máy bay không người lái và các thiết bị biên khác chạy trực tiếp các mô hình ngôn ngữ lớn ở mức công suất chỉ 5 watt. EE Times đưa tin vào ngày 9 tháng 11 rằng DX-M2 được thiết kế để chạy các mô hình có từ 20 tỷ đến 100 tỷ tham số — khoảng 3 tỷ đến 20 tỷ tham số hoạt động — ở tốc độ 10 đến 30 mã thông báo mỗi giây.

Băng thông bộ nhớ tăng gấp ba lần; dự án mô phỏng tăng tốc 6,7 lần

So với DX-M1 thế hệ đầu tiên, DX-M2 tăng gấp ba băng thông bộ nhớ từ 50 GB/s lên 150 GB/s; bộ xử lý thần kinh của nó đã tăng gấp đôi hiệu quả sử dụng năng lượng thông qua các cải tiến về thiết kế và việc chuyển sang nút xử lý 2 nanomet lại tăng gấp đôi hiệu quả sử dụng điện, đạt 80 TOPS. Mô phỏng của DeepX cho thấy rằng việc giảm tải các hoạt động nhân vectơ ma trận chung (GEMV) vào bộ nhớ LPDDR5x-PIM sẽ tăng mã thông báo mỗi giây cho mô hình Llama3.1-8B lên 6,7 lần so với riêng DX-M2 - nhưng người sáng lập và Giám đốc điều hành Lokwon Kim lưu ý rằng hiệu suất 6,7 lần cần gấp 2,7 lần công suất tổng thể, với mức tăng gấp đôi có sẵn trong cùng một đường bao công suất. Công ty đã dành một năm rưỡi nghiên cứu công nghệ này với Bộ nhớ Samsung và đã nhận được các mẫu LPDDR5x PIM mà công ty đang thử nghiệm nội bộ.

Nhắm mục tiêu robot, PC AI và ô tô

DX-M2 nhắm đến robot, PC AI, ô tô và thiết bị kết nối Internet. DeepX đang hợp tác với các nhà sản xuất Đài Loan trên PC AI, trong khi khách hàng chế tạo robot thường bắt đầu trên nền tảng Thor của Nvidia và tìm kiếm các giải pháp thay thế năng lượng thấp hơn do hạn chế về nhiệt và điện; Phòng thí nghiệm Robotics của Tập đoàn ô tô Hyundai đã sử dụng DX-M1 trong nền tảng robot của mình. Công ty cũng đang hợp tác với Intel để tích hợp OpenVINO vào bộ phát triển phần mềm DeepX và đang đàm phán với AMD về nền tảng robot dựa trên bảng tham chiếu Kria của họ.

Mẫu tháng 3 năm 2027; thế hệ thứ ba hướng tới năm 2028

Các mẫu kỹ thuật của DX-M2 dự kiến ​​vào tháng 3 năm 2027, với mục tiêu sản xuất hàng loạt vào mùa thu năm 2027. Thế hệ thứ ba, DX-M3, được lên kế hoạch cho năm 2028 với thiết kế dựa trên chiplet nhắm mục tiêu 1 ePOPS (INT8) và hỗ trợ LPDDR6 PIM, nhắm đến các nhà sản xuất ô tô và robot hình người. Kim cho biết tính toán AI sẽ trở nên phân tán hơn khi hiệu quả được cải thiện và việc chạy các mô hình 100 tỷ tham số trên các thiết bị có thể cắt giảm hơn 80% lưu lượng truy cập vào trung tâm dữ liệu AI. DX-M1 thế hệ đầu tiên đang được sản xuất hàng loạt và công ty cho biết họ đã nhận được hơn 100 đơn đặt hàng.