Корейская компания DeepX выпускает AI-чип DX-M2 второго поколения с технологией Samsung LPDDR5x PIM мощностью 5 Вт.

Южнокорейский стартап по производству периферийных процессоров искусственного интеллекта DeepX выпустил свой ускоритель искусственного интеллекта второго поколения DX-M2, использующий технологию процессора в памяти (PIM) LPDDR5x от Samsung Memory, с целью позволить роботам, дронам и другим периферийным устройствам напрямую запускать большие языковые модели всего за 5 Вт. EE Times сообщила 9 ноября, что DX-M2 предназначен для запуска моделей от 20 до 100 миллиардов параметров — примерно от 3 до 20 миллиардов активных параметров — со скоростью от 10 до 30 токенов в секунду.

Пропускная способность памяти увеличивается втрое; моделирование прогнозирует ускорение в 6,7 раза

По сравнению с DX-M1 первого поколения, DX-M2 утраивает пропускную способность памяти с 50 ГБ/с до 150 ГБ/с; его нейронный процессор удвоил свою энергоэффективность за счет усовершенствований конструкции, а переход на 2-нанометровый технологический узел снова удвоил ее, достигнув 80 TOPS. Моделирование DeepX показывает, что выгрузка общих операций матрично-векторного умножения (GEMV) в память LPDDR5x-PIM увеличивает количество токенов в секунду для модели Llama3.1-8B в 6,7 раз по сравнению с одной только DX-M2, но основатель и генеральный директор Локвон Ким отметил, что для производительности 6,7x требуется в 2,7 раза больше общей мощности, причем при том же диапазоне мощности возможно увеличение примерно в два раза. Компания потратила полтора года на разработку этой технологии совместно с Samsung Memory и получила образцы PIM LPDDR5x, которые она тестирует собственными силами.

Нацеливание на роботов, ПК с искусственным интеллектом и автомобили

DX-M2 предназначен для роботов, компьютеров с искусственным интеллектом, автомобилей и устройств Интернета вещей. DeepX работает с тайваньскими производителями над ПК с искусственным интеллектом, в то время как заказчики робототехники обычно начинают с платформы Nvidia Thor и ищут альтернативы с меньшим энергопотреблением из-за ограничений по нагреву и мощности; Лаборатория робототехники Hyundai Motor Group уже использует DX-M1 в своей робототехнической платформе. Компания также работает с Intel над интеграцией OpenVINO в комплект разработки программного обеспечения DeepX и ведет переговоры с AMD о платформе робототехники на основе ее эталонной платы Kria.

Пробы в марте 2027 г.; третье поколение нацелено на 2028 год

Технические образцы DX-M2 ожидаются в марте 2027 года, а массовое производство запланировано на осень 2027 года. Третье поколение, DX-M3, запланировано на 2028 год с конструкцией на базе чиплетов, рассчитанной на 1 ePOPS (INT8) и поддержкой LPDDR6 PIM, предназначенной для автопроизводителей и человекоподобных роботов. Ким сказал, что вычисления ИИ станут более распределенными по мере повышения эффективности, и что запуск моделей со 100 миллиардами параметров на устройствах может сократить трафик центров обработки данных ИИ более чем на 80 процентов. Первое поколение DX-M1 находится в серийном производстве, и компания заявляет, что у нее более 100 заказов на поставку.