Ang DeepX ng Korea ay nag-tape ng second-gen DX-M2 AI chip gamit ang LPDDR5x PIM tech ng Samsung sa 5 watts

Ang South Korean edge AI chip startup DeepX ay nag-tape ng pangalawang henerasyong AI accelerator nito, ang DX-M2, gamit ang teknolohiyang LPDDR5x processor-in-memory (PIM) ng Samsung Memory, na naglalayong hayaan ang mga robot, drone at iba pang edge device na magpatakbo ng malalaking modelo ng wika nang direkta sa 5 watts lang. Iniulat ng EE Times noong Nobyembre 9 na ang DX-M2 ay idinisenyo upang magpatakbo ng mga modelo ng 20 bilyon hanggang 100 bilyong parameter — mga 3 bilyon hanggang 20 bilyong aktibong parameter — sa 10 hanggang 30 token bawat segundo.

Triple ng memory bandwidth; ang mga simulation ay nagpapalabas ng 6.7x na bilis

Kung ikukumpara sa unang henerasyong DX-M1, triple ng DX-M2 ang memory bandwidth mula 50 GB/s hanggang 150 GB/s; ang neural processing unit nito ay nadoble ang power efficiency nito sa pamamagitan ng mga pagpapahusay sa disenyo, at ang paglipat sa isang 2-nanometre process node ay nadoble muli, na umabot sa 80 TOPS. Ipinapakita ng mga simulation ng DeepX na ang pag-offload ng mga operasyon ng general matrix-vector multiplication (GEMV) sa memorya ng LPDDR5x-PIM ay nagtataas ng mga token bawat segundo para sa modelong Llama3.1-8B sa 6.7 beses kaysa sa DX-M2 lamang — ngunit nabanggit ng founder at CEO na si Lokwon Kim na ang 6.7x na performance ay nangangailangan ng 2.7 beses na pagtaas ng lakas sa loob ng dalawang beses sa kabuuang lakas ng kapangyarihan. Ang kumpanya ay gumugol ng isang taon at kalahating nagtatrabaho sa teknolohiya gamit ang Samsung Memory at nakatanggap ng mga sample ng LPDDR5x PIM, na sinusuri nito sa loob ng bahay.

Pag-target ng mga robot, AI PC at mga kotse

Ang DX-M2 ay nagta-target ng mga robot, AI PC, kotse at internet-of-things device. Nakikipagtulungan ang DeepX sa mga tagagawa ng Taiwan sa mga AI PC, habang ang mga customer ng robotics ay karaniwang nagsisimula sa Thor platform ng Nvidia at naghahanap ng mga alternatibong mas mababang kapangyarihan dahil sa mga hadlang sa init at kuryente; Ginagamit na ng Robotics Lab ng Hyundai Motor Group ang DX-M1 sa robotics platform nito. Ang kumpanya ay nakikipagtulungan din sa Intel upang isama ang OpenVINO sa DeepX software development kit, at nakikipag-usap sa AMD sa isang robotics platform batay sa Kria reference board nito.

Mga sample noong Marso 2027; ikatlong henerasyon na naglalayong 2028

Ang mga sample ng engineering ng DX-M2 ay inaasahan sa Marso 2027, na may mass production na naka-target para sa taglagas ng 2027. Ang ikatlong henerasyon, ang DX-M3, ay binalak para sa 2028 na may disenyong nakabatay sa chiplet na nagta-target ng 1 ePOPS (INT8) at suporta para sa LPDDR6 PIM, na naglalayong sa mga carmaker at humanoid robotics. Sinabi ni Kim na ang AI compute ay higit na maipapamahagi habang bumubuti ang kahusayan, at ang pagpapatakbo ng 100-bilyong parameter na mga modelo sa mga device ay maaaring mabawasan ang trapiko ng AI data-center ng higit sa 80 porsyento. Ang unang henerasyong DX-M1 ay nasa mass production, at sinabi ng kumpanya na mayroon itong higit sa 100 purchase order.