한국의 DeepX, 5와트의 삼성 LPDDR5x PIM 기술을 탑재한 2세대 DX-M2 AI 칩 출시

한국의 엣지 AI 칩 스타트업 DeepX는 삼성 메모리의 LPDDR5x PIM(프로세서 인 메모리) 기술을 사용하여 2세대 AI 가속기인 DX-M2를 녹화했습니다. 이는 로봇, 드론 및 기타 엣지 장치가 단 5와트에서 직접 대규모 언어 모델을 실행할 수 있도록 하는 것을 목표로 합니다. EE Times는 11월 9일에 DX-M2가 200억~1000억 개의 매개변수(약 30억~200억 개의 활성 매개변수) 모델을 초당 10~30개의 토큰으로 실행하도록 설계되었다고 보도했습니다.

메모리 대역폭은 3배입니다. 시뮬레이션에서는 6.7배의 속도 향상을 예상합니다.

1세대 DX-M1과 비교하여 DX-M2는 메모리 대역폭을 50GB/s에서 150GB/s로 3배 늘렸습니다. 신경 처리 장치는 설계 개선을 통해 전력 효율성을 두 배로 늘렸고, 2나노미터 프로세스 노드로 이동하여 다시 두 배로 증가하여 80TOPS에 도달했습니다. DeepX의 시뮬레이션에 따르면 일반 행렬-벡터 곱셈(GEMV) 연산을 LPDDR5x-PIM 메모리로 오프로드하면 Llama3.1-8B 모델의 초당 토큰이 DX-M2 단독의 6.7배로 증가합니다. 그러나 설립자이자 CEO인 김록원은 6.7x 성능을 위해서는 전체 전력의 2.7배가 필요하며 동일한 전력 범위 내에서 약 2배의 상승이 가능하다고 지적했습니다. 이 회사는 삼성 메모리와 함께 1년 반 동안 이 기술을 개발했으며 LPDDR5x PIM 샘플을 받아 사내에서 테스트하고 있습니다.

로봇, AI PC, 자동차 타겟팅

DX-M2는 로봇, AI PC, 자동차, 사물인터넷(IoT) 장치를 대상으로 합니다. DeepX는 AI PC 분야에서 대만 제조업체와 협력하고 있는 반면, 로봇 공학 고객은 일반적으로 Nvidia의 Thor 플랫폼에서 시작하여 열 및 전력 제약으로 인해 저전력 대안을 찾습니다. 현대자동차그룹 로보틱스 랩은 이미 로봇 플랫폼에 DX-M1을 사용하고 있습니다. 또한 이 회사는 OpenVINO를 DeepX 소프트웨어 개발 키트에 통합하기 위해 Intel과 협력하고 있으며 Kria 참조 보드를 기반으로 하는 로봇 플랫폼에 대해 AMD와 협의 중입니다.

2027년 3월 샘플; 2028년을 목표로 하는 3세대

DX-M2의 엔지니어링 샘플은 2027년 3월에 출시될 예정이며 대량 생산은 2027년 가을에 목표로 하고 있습니다. 3세대 DX-M3는 1 ePOPS(INT8)를 목표로 하는 칩렛 기반 설계와 자동차 제조업체 및 휴머노이드 로봇 공학을 겨냥한 LPDDR6 PIM을 지원하는 기능을 갖춘 2028년에 계획되어 있습니다. Kim은 효율성이 향상됨에 따라 AI 컴퓨팅이 더욱 분산될 것이며 장치에서 1000억 개의 매개변수 모델을 실행하면 AI 데이터 센터 트래픽을 80% 이상 줄일 수 있다고 말했습니다. 1세대 DX-M1은 양산 중이며, 100개 이상의 구매 주문을 받았다고 회사 측은 밝혔다.