DeepX da Coreia grava chip AI DX-M2 de segunda geração com tecnologia LPDDR5x PIM da Samsung a 5 watts

A startup sul-coreana de chips de IA de ponta DeepX gravou seu acelerador de IA de segunda geração, o DX-M2, usando a tecnologia de processador em memória (PIM) LPDDR5x da Samsung Memory, com o objetivo de permitir que robôs, drones e outros dispositivos de ponta executem grandes modelos de linguagem diretamente com apenas 5 watts. O EE Times informou em 9 de novembro que o DX-M2 foi projetado para executar modelos de 20 bilhões a 100 bilhões de parâmetros – cerca de 3 bilhões a 20 bilhões de parâmetros ativos – de 10 a 30 tokens por segundo.

A largura de banda da memória triplica; simulações projetam uma aceleração de 6,7x

Comparado com o DX-M1 de primeira geração, o DX-M2 triplica a largura de banda da memória de 50 GB/s para 150 GB/s; sua unidade de processamento neural dobrou sua eficiência energética por meio de melhorias no design, e a mudança para um nó de processo de 2 nanômetros dobrou novamente, atingindo 80 TOPS. As simulações do DeepX mostram que a transferência de operações gerais de multiplicação de vetores de matrizes (GEMV) na memória LPDDR5x-PIM aumenta os tokens por segundo para o modelo Llama3.1-8B para 6,7 ​​vezes o DX-M2 sozinho - mas o fundador e CEO Lokwon Kim observou que o desempenho de 6,7x precisa de 2,7 vezes a potência geral, com cerca de um aumento duplo disponível dentro do mesmo envelope de potência. A empresa passou um ano e meio trabalhando na tecnologia com Samsung Memory e recebeu amostras LPDDR5x PIM, que está testando internamente.

Visando robôs, PCs com IA e carros

O DX-M2 tem como alvo robôs, PCs com IA, carros e dispositivos de internet das coisas. A DeepX está trabalhando com fabricantes taiwaneses em PCs de IA, enquanto os clientes de robótica normalmente começam na plataforma Thor da Nvidia e procuram alternativas de menor consumo de energia devido a restrições de calor e energia; O Laboratório de Robótica do Hyundai Motor Group já utiliza o DX-M1 na sua plataforma robótica. A empresa também está trabalhando com a Intel para integrar o OpenVINO ao kit de desenvolvimento de software DeepX e está em negociações com a AMD sobre uma plataforma robótica baseada em sua placa de referência Kria.

Amostras em março de 2027; terceira geração voltada para 2028

Amostras de engenharia do DX-M2 são esperadas para março de 2027, com produção em massa prevista para o outono de 2027. Uma terceira geração, o DX-M3, está planejada para 2028 com um design baseado em chip visando 1 ePOPS (INT8) e suporte para LPDDR6 PIM, voltado para montadoras e robótica humanóide. Kim disse que a computação de IA se tornará mais distribuída à medida que a eficiência melhorar, e que a execução de modelos de 100 bilhões de parâmetros em dispositivos poderia reduzir o tráfego do data center de IA em mais de 80%. O DX-M1 de primeira geração está em produção em massa e a empresa afirma ter mais de 100 pedidos de compra.