कोरिया के डीपएक्स ने सैमसंग की LPDDR5x PIM तकनीक के साथ 5 वॉट पर दूसरी पीढ़ी की DX-M2 AI चिप तैयार की है

दक्षिण कोरियाई एज एआई चिप स्टार्टअप डीपएक्स ने सैमसंग मेमोरी की एलपीडीडीआर5एक्स प्रोसेसर-इन-मेमोरी (पीआईएम) तकनीक का उपयोग करके अपने दूसरी पीढ़ी के एआई एक्सेलेरेटर, डीएक्स-एम2 को टेप किया है, जिसका लक्ष्य रोबोट, ड्रोन और अन्य एज डिवाइसों को सीधे 5 वाट पर बड़े भाषा मॉडल चलाने देना है। ईई टाइम्स ने 9 नवंबर को रिपोर्ट दी कि डीएक्स-एम2 को 20 बिलियन से 100 बिलियन पैरामीटर - लगभग 3 बिलियन से 20 बिलियन सक्रिय पैरामीटर - 10 से 30 टोकन प्रति सेकंड पर चलाने के लिए डिज़ाइन किया गया है।

मेमोरी बैंडविड्थ ट्रिपल; सिमुलेशन में 6.7x स्पीडअप का अनुमान लगाया गया है

पहली पीढ़ी के DX-M1 की तुलना में, DX-M2 मेमोरी बैंडविड्थ को 50 GB/s से 150 GB/s तक तीन गुना कर देता है; इसकी तंत्रिका प्रसंस्करण इकाई ने डिजाइन में सुधार के माध्यम से अपनी शक्ति दक्षता को दोगुना कर दिया है, और 2-नैनोमीटर प्रक्रिया नोड में जाने से यह फिर से दोगुना हो गया है, 80 TOPS तक पहुंच गया है। डीपएक्स के सिमुलेशन से पता चलता है कि LPDDR5x-PIM मेमोरी में सामान्य मैट्रिक्स-वेक्टर गुणन (GEMV) संचालन को ऑफलोड करने से Llama3.1-8B मॉडल के लिए टोकन प्रति सेकंड अकेले DX-M2 से 6.7 गुना बढ़ जाता है - लेकिन संस्थापक और सीईओ लोकवोन किम ने कहा कि 6.7x प्रदर्शन के लिए समग्र शक्ति की 2.7 गुना की आवश्यकता होती है, एक ही पावर लिफाफे के भीतर लगभग दो गुना उत्थान उपलब्ध होता है। कंपनी ने सैमसंग मेमोरी के साथ प्रौद्योगिकी पर काम करते हुए डेढ़ साल बिताए हैं और उसे LPDDR5x PIM नमूने प्राप्त हुए हैं, जिनका वह इन-हाउस परीक्षण कर रही है।

रोबोट, एआई पीसी और कारों को लक्षित करना

डीएक्स-एम2 रोबोट, एआई पीसी, कारों और इंटरनेट-ऑफ-थिंग्स उपकरणों को लक्षित करता है। डीपएक्स एआई पीसी पर ताइवानी निर्माताओं के साथ काम कर रहा है, जबकि रोबोटिक्स ग्राहक आमतौर पर एनवीडिया के थोर प्लेटफॉर्म पर शुरुआत करते हैं और गर्मी और बिजली की कमी के कारण कम-शक्ति वाले विकल्पों की तलाश करते हैं; हुंडई मोटर ग्रुप की रोबोटिक्स लैब पहले से ही अपने रोबोटिक्स प्लेटफॉर्म में DX-M1 का उपयोग करती है। कंपनी ओपनविनो को डीपएक्स सॉफ्टवेयर डेवलपमेंट किट में एकीकृत करने के लिए इंटेल के साथ भी काम कर रही है, और अपने क्रिया संदर्भ बोर्ड पर आधारित रोबोटिक्स प्लेटफॉर्म पर एएमडी के साथ बातचीत कर रही है।

मार्च 2027 में नमूने; तीसरी पीढ़ी का लक्ष्य 2028 है

DX-M2 के इंजीनियरिंग नमूने मार्च 2027 में आने की उम्मीद है, शरद ऋतु 2027 के लिए बड़े पैमाने पर उत्पादन का लक्ष्य रखा गया है। तीसरी पीढ़ी, DX-M3, की योजना 2028 में चिपलेट-आधारित डिज़ाइन के साथ 1 ePOPS (INT8) को लक्षित करने और LPDDR6 PIM के लिए समर्थन के साथ कार निर्माताओं और ह्यूमनॉइड रोबोटिक्स के लिए बनाई गई है। किम ने कहा कि दक्षता में सुधार होने पर एआई कंप्यूट अधिक वितरित हो जाएगा, और उपकरणों पर 100-बिलियन-पैरामीटर मॉडल चलाने से एआई डेटा-सेंटर ट्रैफ़िक में 80 प्रतिशत से अधिक की कटौती हो सकती है। पहली पीढ़ी का DX-M1 बड़े पैमाने पर उत्पादन में है, और कंपनी का कहना है कि उसके पास 100 से अधिक खरीद ऑर्डर हैं।