برای نگهداری یک مدل 3 تریلیون پارامتری به 59 ویفر نیاز است: Cerebras ریاضیات Kimi K3 خود را نشان می دهد

مدل های بزرگتر به معنای قبوض سخت افزاری بزرگتر است. در یک پست فنی به تاریخ 22 اکتبر، Cerebras، سازنده تراشه‌های هوش مصنوعی، آنچه را که نیاز است تا کیمی K3 با پارامتر تقریباً 3 تریلیون Moonshot را روی تراشه‌های مقیاس ویفر خود قرار دهد و در واقع با آن به کاربران ارائه دهد، مشخص کرد: در مجموع 59 ویفر. این مشخصات یک دستگاه نیست، بلکه یک طرح کلی سخت افزاری است.

جایی که عدد 59 از آنجا می آید

با ذخیره سازی مدل شروع کنید: Cerebras هر پارامتر را در 4 بیت فرض می کند، بنابراین 3 تریلیون پارامتر وزن به تنهایی به حدود 1.5 ترابایت می رسد. با 44 گیگابایت حافظه روی تراشه در هر ویفر، وزن ها به تنهایی به حداقل حدود 35 ویفر قبل از هر فضایی برای درخواست کاربر نیاز دارند. Kimi K3 دارای 93 لایه است: 69 لایه خطی توجه و 24 لایه متراکم توجه. لایه‌های توجه متراکم یک حافظه پنهان KV را ذخیره می‌کنند که با طول درخواست رشد می‌کند، بنابراین Cerebras به هر یک ویفر خاص خود را می‌دهد. لایه های توجه خطی در هر ویفر دو لایه روی 35 ویفر می روند. این دو به 59 می رسند. این محاسبه همچنین یک کش 8 بیتی KV و درخواست متوسط ​​256000 توکن را در نظر می گیرد و این شرکت سرعت خروجی 1000 تا 2000 توکن در ثانیه را برای مدل های چند تریلیون پارامتری تبلیغ می کند.

هشدار مهم: این هنوز یک نتیجه اندازه گیری نشده است

این خط باید به وضوح ترسیم شود: Cerebras مشخص نکرده است که آیا طرح Kimi K3 واقعاً اجرا شده است یا خیر، و هیچ شرایط معیار کامل، مصرف انرژی اندازه‌گیری شده یا تعداد واضح کاربران همزمانی که طرح‌بندی پشتیبانی می‌کند منتشر نکرده است. رقم بیش از 1000 تا 2000 توکن در ثانیه، سرعت تبلیغ شده شرکت برای این کلاس از مدل ها است، نه یک نتیجه اندازه گیری شده برای این طرح. خود شرکت پذیرفته است که اندازه دسته و همزمانی به تنهایی کارایی استنتاج را ایجاد نمی کند و معیار واقعی باید توکن ها در هر واحد توان با سرعت خروجی یکسان باشد. همچنین توجه داشته باشید که Cerebras Kimi K3 را به حدود 3 تریلیون پارامتر می‌رساند، در حالی که مستندات مدل Alibaba Cloud 2.8 تریلیون را با یک پنجره زمینه یک میلیون توکن فهرست می‌کند - سقف قابلیت، که با میانگین طول درخواستی که در محاسبه در نظر گرفته شده یکسان نیست.

پیشینه این روش، خط لوله چند سیستمی قبلی Cerebras برای GPT-5.6 Sol است که تا 750 توکن در ثانیه تبلیغ می شد. این یک سابقه برای روش است، نه یک کارنامه برای Kimi K3. برای اینکه ادعای 59 ویفر ثابت بماند، تحویل بعدی باید اندازه‌گیری با همان مفروضات باشد: مدل و دقت، طول و بار درخواست، تعداد سخت‌افزار، و سرعت و قدرت با هم.