DeepX de Corea graba el chip AI DX-M2 de segunda generación con tecnología PIM LPDDR5x de Samsung a 5 vatios

La startup surcoreana de chips de IA de vanguardia, DeepX, ha desarrollado su acelerador de IA de segunda generación, el DX-M2, utilizando la tecnología de procesador en memoria (PIM) LPDDR5x de Samsung Memory, con el objetivo de permitir que robots, drones y otros dispositivos de vanguardia ejecuten grandes modelos de lenguaje directamente con solo 5 vatios. EE Times informó el 9 de noviembre que el DX-M2 está diseñado para ejecutar modelos de 20 mil millones a 100 mil millones de parámetros (alrededor de 3 mil millones a 20 mil millones de parámetros activos) a entre 10 y 30 tokens por segundo.

El ancho de banda de la memoria se triplica; Las simulaciones proyectan una aceleración de 6,7 veces.

En comparación con el DX-M1 de primera generación, el DX-M2 triplica el ancho de banda de la memoria de 50 GB/s a 150 GB/s; su unidad de procesamiento neuronal ha duplicado su eficiencia energética mediante mejoras de diseño, y el cambio a un nodo de proceso de 2 nanómetros la duplicó nuevamente, alcanzando 80 TOPS. Las simulaciones de DeepX muestran que descargar operaciones generales de multiplicación de vectores de matriz (GEMV) en la memoria LPDDR5x-PIM aumenta los tokens por segundo para el modelo Llama3.1-8B a 6,7 ​​veces más que el DX-M2 solo, pero el fundador y CEO Lokwon Kim señaló que el rendimiento de 6,7x necesita 2,7 veces la potencia total, con aproximadamente un aumento del doble disponible dentro de la misma envolvente de potencia. La compañía pasó un año y medio trabajando en la tecnología con Samsung Memory y recibió muestras de PIM LPDDR5x, que está probando internamente.

Apuntando a robots, PC con IA y automóviles

El DX-M2 está dirigido a robots, PC con inteligencia artificial, automóviles y dispositivos de Internet de las cosas. DeepX está trabajando con fabricantes taiwaneses en PC con IA, mientras que los clientes de robótica normalmente comienzan con la plataforma Thor de Nvidia y buscan alternativas de menor consumo debido a limitaciones de calor y energía; El Laboratorio de Robótica de Hyundai Motor Group ya utiliza el DX-M1 en su plataforma de robótica. La compañía también está trabajando con Intel para integrar OpenVINO en el kit de desarrollo de software DeepX y está en conversaciones con AMD sobre una plataforma robótica basada en su placa de referencia Kria.

Muestras en marzo de 2027; tercera generación apuntada a 2028

Se esperan muestras de ingeniería del DX-M2 en marzo de 2027, y la producción en masa está prevista para el otoño de 2027. Está prevista una tercera generación, el DX-M3, para 2028 con un diseño basado en chiplets destinado a 1 ePOPS (INT8) y soporte para LPDDR6 PIM, dirigido a fabricantes de automóviles y robótica humanoide. Kim dijo que la computación de IA se distribuirá más a medida que mejore la eficiencia, y que ejecutar modelos de 100 mil millones de parámetros en dispositivos podría reducir el tráfico del centro de datos de IA en más de un 80 por ciento. El DX-M1 de primera generación está en producción en masa y la compañía dice que tiene más de 100 órdenes de compra.