韓国の DeepX は、Samsung の LPDDR5x PIM 技術を使用して第 2 世代 DX-M2 AI チップを 5 ワットでテープアウト

韓国のエッジAIチップのスタートアップDeepXは、ロボット、ドローン、その他のエッジデバイスがわずか5ワットで大規模な言語モデルを直接実行できるようにすることを目的として、サムスンメモリのLPDDR5xプロセッサインメモリ（PIM）テクノロジーを使用した第2世代AIアクセラレータであるDX-M2をテープアウトした。 EE Times は 11 月 9 日に、DX-M2 は 200 億から 1,000 億のパラメータ (約 30 億から 200 億のアクティブなパラメータ) のモデルを 1 秒あたり 10 ～ 30 トークンで実行するように設計されていると報じました。

メモリ帯域幅が 3 倍になります。シミュレーションでは 6.7 倍の高速化が予測されています

第一世代の DX-M1 と比較して、DX-M2 はメモリ帯域幅を 50 GB/s から 150 GB/s に 3 倍にします。同社のニューラル プロセッシング ユニットは、設計の改善により電力効率が 2 倍になり、2 ナノメートル プロセス ノードへの移行によりさらに 2 倍になり、80 TOPS に達しました。 DeepX のシミュレーションによると、一般行列ベクトル乗算 (GEMV) 演算を LPDDR5x-PIM メモリにオフロードすると、Llama3.1-8B モデルの 1 秒あたりのトークン数が DX-M2 単独の 6.7 倍に増加します。しかし、創設者兼 CEO の Lokwon Kim 氏は、6.7 倍のパフォーマンスには全体の電力の 2.7 倍が必要で、同じ電力エンベロープ内で約 2 倍の増加が可能であると指摘しました。同社は Samsung Memory と 1 年半かけてこの技術に取り組み、LPDDR5x PIM サンプルを受け取り、社内でテストしています。

ロボット、AI PC、自動車をターゲットに

DX-M2 は、ロボット、AI PC、自動車、IoT デバイスをターゲットとしています。 DeepX は台湾のメーカーと AI PC で協力していますが、ロボティクスの顧客は通常、Nvidia の Thor プラットフォームから始めて、熱と電力の制約のため、より低電力の代替品を探しています。ヒュンダイ自動車グループのロボット研究所は、すでに自社のロボットプラットフォームにDX-M1を使用しています。同社はまた、Intelと協力してOpenVINOをDeepXソフトウェア開発キットに統合しており、KriaリファレンスボードをベースにしたロボットプラットフォームについてAMDと協議している。

2027 年 3 月のサンプル。 3代目は2028年を目指す

DX-M2 のエンジニアリング サンプルは 2027 年 3 月に公開され、量産は 2027 年秋を予定しています。第 3 世代の DX-M3 は 2028 年に計画されており、1 ePOPS (INT8) をターゲットとしたチップレット ベースの設計と LPDDR6 PIM のサポートを備え、自動車メーカーやヒューマノイド ロボット工学をターゲットとしています。 Kim 氏は、効率が向上するにつれて AI コンピューティングの分散化が進むと述べ、デバイス上で 1,000 億パラメータのモデルを実行することで AI データセンターのトラフィックを 80% 以上削減できる可能性があると述べました。第一世代のDX-M1は量産中で、同社によれば100件以上の発注があるという。