একটি 3-ট্রিলিয়ন-প্যারামিটার মডেল ধরে রাখতে 59টি ওয়েফার লাগে: সেরিব্রাস তার কিমি কে 3 গণিত দেখায়

বড় মডেল মানে বড় হার্ডওয়্যার বিল। 22 অক্টোবর তারিখের একটি প্রযুক্তিগত পোস্টে, এআই চিপমেকার সেরেব্রাস মুনশট এআই-এর মোটামুটি 3-ট্রিলিয়ন-প্যারামিটার কিমি কে 3 এর ওয়েফার-স্কেল চিপগুলিতে ফিট করতে কী কী লাগবে তা নিয়ে কাজ করেছে এবং প্রকৃতপক্ষে এটি ব্যবহারকারীদের পরিবেশন করেছে: মোট 59টি ওয়েফার। এটি একটি মেশিনের স্পেসিফিকেশন নয়, একটি সম্পূর্ণ হার্ডওয়্যার বিন্যাস।

যেখানে 59 নম্বরটি এসেছে

মডেল সংরক্ষণের সাথে শুরু করুন: সেরিব্রাস 4 বিটে সংরক্ষিত প্রতিটি প্যারামিটার ধরে নেয়, তাই 3 ট্রিলিয়ন প্যারামিটারের ওজন একাই প্রায় 1.5 টেরাবাইটে আসে; প্রতি ওয়েফারে 44 গিগাবাইট অন-চিপ মেমরির সাথে, ব্যবহারকারীর অনুরোধের জন্য যেকোন রুমের আগে ওজনের জন্যই ন্যূনতম 35টি ওয়েফার প্রয়োজন। কিমি K3-এর 93টি স্তর রয়েছে: 69টি লিনিয়ার-অ্যাটেনশন লেয়ার এবং 24টি ঘন-মনোযোগ স্তর। ঘন-মনোযোগের স্তরগুলি একটি কেভি ক্যাশে সঞ্চয় করে যা অনুরোধের দৈর্ঘ্যের সাথে বৃদ্ধি পায়, তাই সেরিব্রাস প্রত্যেককে তার নিজস্ব ওয়েফার দেয়; রৈখিক-মনোযোগ স্তর 35টি ওয়েফার জুড়ে প্রতি ওয়েফারে দুটি যায়; দুইটি 59 পর্যন্ত যোগ করে। গণনাটি একটি 8-বিট কেভি ক্যাশে এবং 256,000 টোকেনের গড় অনুরোধও অনুমান করে এবং কোম্পানি মাল্টি-ট্রিলিয়ন-প্যারামিটার মডেলের জন্য প্রতি সেকেন্ডে 1,000 থেকে 2,000-প্লাস টোকেনের আউটপুট গতির বিজ্ঞাপন দেয়।

গুরুত্বপূর্ণ সতর্কতা: এটি এখনও পরিমাপিত ফলাফল নয়

রেখাটি অবশ্যই স্পষ্টভাবে আঁকা উচিত: সেরেব্রাস কিমি কে 3 লেআউটটি আসলে চালানো হয়েছিল কিনা তা নিশ্চিত করেনি এবং লেআউটটি সমর্থন করে এমন কোনও পূর্ণ বেঞ্চমার্ক শর্ত, পরিমাপ করা বিদ্যুত খরচ, বা যুগপত ব্যবহারকারীদের স্পষ্ট গণনা প্রকাশ করেনি; প্রতি সেকেন্ড চিত্রে 1,000-থেকে-2,000-প্লাস টোকেন হল এই শ্রেণীর মডেলের জন্য কোম্পানির বিজ্ঞাপনের গতি, এই লেআউটের জন্য একটি পরিমাপিত ফলাফল নয়। কোম্পানী নিজেই স্বীকার করে যে ব্যাচের আকার এবং সঙ্গতি একাই অনুমান কার্যকারিতা স্থাপন করে না, এবং প্রকৃত মানদণ্ড একই আউটপুট গতিতে প্রতি ইউনিট পাওয়ার টোকেন হওয়া উচিত। আরও উল্লেখ্য যে সেরেব্রাস কিমি কে 3কে প্রায় 3 ট্রিলিয়ন প্যারামিটারে রাউন্ড করে, যখন আলিবাবা ক্লাউডের মডেল ডকুমেন্টেশনে 2.8 ট্রিলিয়ন একটি এক-মিলিয়ন-টোকেন কনটেক্সট উইন্ডো সহ তালিকাভুক্ত করা হয়েছে — একটি সক্ষমতা সিলিং, গণনায় অনুমান করা গড় অনুরোধের দৈর্ঘ্যের মতো একই জিনিস নয়।

পদ্ধতির নজির হল সেরেব্রাসের আগের মাল্টি-সিস্টেম পাইপলাইন GPT-5.6 Sol এর জন্য, প্রতি সেকেন্ডে 750 টোকেন পর্যন্ত বিজ্ঞাপন দেওয়া হয়; এটি পদ্ধতির নজির, কিমি K3-এর জন্য একটি রিপোর্ট কার্ড নয়। দাঁড়ানোর জন্য 59-ওয়েফার দাবির জন্য, পরবর্তী বিতরণযোগ্যটি একই অনুমানের অধীনে একটি পরিমাপ হওয়া উচিত: মডেল এবং নির্ভুলতা, অনুরোধের দৈর্ঘ্য এবং লোড, হার্ডওয়্যার গণনা, এবং গতি এবং শক্তি একসাথে।