Корейський DeepX випускає чіп другого покоління DX-M2 AI з технологією Samsung LPDDR5x PIM на 5 Вт

Південнокорейський стартап DeepX, що випускає граничні чіпи штучного інтелекту, створив свій прискорювач штучного інтелекту другого покоління, DX-M2, використовуючи технологію процесора в пам’яті LPDDR5x (PIM) від Samsung Memory, щоб дозволити роботам, дронам та іншим периферійним пристроям запускати великі мовні моделі безпосередньо при споживанні лише 5 Вт. EE Times повідомила 9 листопада, що DX-M2 розроблено для запуску моделей із 20–100 мільярдами параметрів — приблизно від 3 до 20 мільярдів активних параметрів — зі швидкістю від 10 до 30 токенів за секунду.

Пропускна здатність пам'яті збільшується втричі; моделювання передбачає прискорення в 6,7 раза

У порівнянні з DX-M1 першого покоління, DX-M2 втричі збільшує пропускну здатність пам’яті з 50 ГБ/с до 150 ГБ/с; його блок нейронної обробки подвоїв свою енергоефективність завдяки вдосконаленню дизайну, а перехід до 2-нанометрового технологічного вузла знову подвоїв її, досягнувши 80 TOPS. Моделювання DeepX показує, що розвантаження загальних операцій матриць-векторного множення (GEMV) у пам’ять LPDDR5x-PIM збільшує кількість токенів за секунду для моделі Llama3.1-8B до 6,7 разів, ніж лише для DX-M2, але засновник і генеральний директор Локвон Кім зазначив, що продуктивність 6,7x потребує в 2,7 разів більшої загальної потужності, з приблизно подвійним підвищенням, доступним у межах той самий конверт потужності. Компанія витратила півтора року на роботу над технологією з пам’яттю Samsung і отримала зразки LPDDR5x PIM, які вона тестує всередині компанії.

Націлювання на роботів, комп’ютери зі штучним інтелектом і автомобілі

DX-M2 призначений для роботів, ПК зі штучним інтелектом, автомобілів і пристроїв Інтернету речей. DeepX співпрацює з тайванськими виробниками над комп’ютерами зі штучним інтелектом, тоді як клієнти робототехніки зазвичай починають роботу з платформи Nvidia Thor і шукають альтернативи з меншою потужністю через обмеження тепла та електроенергії; Лабораторія робототехніки Hyundai Motor Group вже використовує DX-M1 у своїй робототехнічній платформі. Компанія також працює з Intel над інтеграцією OpenVINO в комплект розробки програмного забезпечення DeepX і веде переговори з AMD щодо платформи робототехніки на основі еталонної плати Kria.

Зразки в березні 2027 р.; третє покоління, орієнтоване на 2028 рік

Технічні зразки DX-M2 очікуються в березні 2027 року, а масове виробництво заплановано на осінь 2027 року. Третє покоління, DX-M3, заплановано на 2028 рік з чіплетом, націленим на 1 ePOPS (INT8) і підтримкою LPDDR6 PIM, призначений для виробників автомобілів і гуманоїдних робототехніки. Кім сказав, що обчислення штучного інтелекту стануть більш розподіленими в міру підвищення ефективності, і що використання моделей зі 100 мільярдами параметрів на пристроях може скоротити трафік центру обробки даних ШІ більш ніж на 80 відсотків. DX-M1 першого покоління знаходиться в масовому виробництві, і компанія каже, що має понад 100 замовлень.