কোরিয়ার ডিপএক্স টেপ করে সেকেন্ড-জেনার ডিএক্স-এম2 এআই চিপ স্যামসাংয়ের LPDDR5x পিআইএম প্রযুক্তির সাথে 5 ওয়াট

দক্ষিণ কোরিয়ার এজ এআই চিপ স্টার্টআপ DeepX তার দ্বিতীয়-প্রজন্মের AI অ্যাক্সিলারেটর, DX-M2, Samsung মেমরির LPDDR5x প্রসেসর-ইন-মেমরি (PIM) প্রযুক্তি ব্যবহার করে টেপ করেছে, যার লক্ষ্য হল রোবট, ড্রোন এবং অন্যান্য এজ ডিভাইসগুলিকে বৃহৎ ভাষার মডেলগুলি সরাসরি মাত্র 5 ওয়াট এ চালাতে দেওয়া। ইই টাইমস 9 নভেম্বর রিপোর্ট করেছে যে DX-M2 20 বিলিয়ন থেকে 100 বিলিয়ন প্যারামিটারের মডেল চালানোর জন্য ডিজাইন করা হয়েছে — প্রায় 3 বিলিয়ন থেকে 20 বিলিয়ন সক্রিয় প্যারামিটার — প্রতি সেকেন্ডে 10 থেকে 30 টোকেন।

মেমরি ব্যান্ডউইথ তিনগুণ; সিমুলেশন প্রজেক্ট একটি 6.7x গতি

প্রথম প্রজন্মের DX-M1-এর সাথে তুলনা করে, DX-M2 মেমরি ব্যান্ডউইথ 50 GB/s থেকে 150 GB/s পর্যন্ত তিনগুণ করে; এর নিউরাল প্রসেসিং ইউনিট ডিজাইনের উন্নতির মাধ্যমে এর পাওয়ার দক্ষতা দ্বিগুণ করেছে এবং 2-ন্যানোমিটার প্রসেস নোডে চলে যাওয়ায় এটি আবার দ্বিগুণ হয়েছে, 80 TOPS-এ পৌঁছেছে। DeepX-এর সিমুলেশনগুলি দেখায় যে LPDDR5x-PIM মেমরিতে সাধারণ ম্যাট্রিক্স-ভেক্টর মাল্টিপ্লিকেশন (GEMV) অপারেশনগুলি অফলোড করা Llama3.1-8B মডেলের জন্য টোকেন প্রতি সেকেন্ডে DX-M2 এর থেকে 6.7 গুণ বাড়িয়ে দেয় — কিন্তু প্রতিষ্ঠাতা এবং সিইও লোকওয়ান কিম উল্লেখ করেছেন যে 6.7 গুণ বেশি পারফরম্যান্সের সাথে 6.7 গুণ বেশি লিফটের প্রয়োজন। একই পাওয়ার খামের মধ্যে উপলব্ধ। কোম্পানিটি স্যামসাং মেমরির সাথে প্রযুক্তিতে দেড় বছর কাজ করেছে এবং LPDDR5x পিআইএম নমুনা পেয়েছে, যা এটি ঘরে-বাইরে পরীক্ষা করছে।

রোবট, এআই পিসি এবং গাড়িকে লক্ষ্য করে

DX-M2 রোবট, এআই পিসি, গাড়ি এবং ইন্টারনেট-অফ-থিংস ডিভাইসগুলিকে লক্ষ্য করে। ডিপএক্স তাইওয়ানের নির্মাতাদের সাথে AI পিসিতে কাজ করছে, যখন রোবোটিক্স গ্রাহকরা সাধারণত এনভিডিয়ার থর প্ল্যাটফর্মে শুরু করে এবং তাপ এবং শক্তির সীমাবদ্ধতার কারণে নিম্ন-শক্তির বিকল্পগুলি সন্ধান করে; Hyundai Motor Group এর Robotics Lab ইতিমধ্যেই তার রোবোটিক্স প্ল্যাটফর্মে DX-M1 ব্যবহার করছে। কোম্পানিটি ওপেনভিনোকে DeepX সফ্টওয়্যার ডেভেলপমেন্ট কিটে একীভূত করার জন্য ইন্টেলের সাথে কাজ করছে এবং এর Kria রেফারেন্স বোর্ডের উপর ভিত্তি করে একটি রোবোটিক্স প্ল্যাটফর্মে AMD এর সাথে আলোচনা করছে।

মার্চ 2027 সালে নমুনা; তৃতীয় প্রজন্মের লক্ষ্য 2028

DX-M2-এর ইঞ্জিনিয়ারিং নমুনাগুলি মার্চ 2027-এ আশা করা হচ্ছে, 2027 সালের শরত্কালের জন্য ব্যাপক উত্পাদন লক্ষ্য করা হয়েছে। তৃতীয় প্রজন্ম, DX-M3, 2028-এর জন্য পরিকল্পনা করা হয়েছে একটি চিপলেট-ভিত্তিক নকশা লক্ষ্য করে 1 ePOPS (INT8) এবং LPDDR6 পিআইএম-এর জন্য সমর্থন, যার লক্ষ্য কারমায়েড এবং মানব রোবট। কিম বলেছিলেন যে দক্ষতার উন্নতির সাথে সাথে AI কম্পিউট আরও বিতরণ করা হবে এবং ডিভাইসগুলিতে 100-বিলিয়ন-প্যারামিটার মডেলগুলি চালানোর ফলে AI ডেটা-সেন্টার ট্র্যাফিক 80 শতাংশেরও বেশি কমে যেতে পারে। প্রথম-প্রজন্মের DX-M1 ব্যাপক উৎপাদনে রয়েছে এবং কোম্পানি বলেছে যে এটির 100 টিরও বেশি ক্রয় আদেশ রয়েছে।