يتطلب الأمر 59 رقاقة لحمل نموذج مكون من 3 تريليون معلمة: Cerebras تعرض برنامج Kimi K3 Math الخاص بها

النماذج الأكبر تعني فواتير الأجهزة الأكبر. في منشور فني بتاريخ 22 أكتوبر، توصلت شركة Cerebras لصناعة شرائح الذكاء الاصطناعي إلى ما يلزم لملاءمة Kimi K3 من Moonshot AI التي يبلغ حجمها حوالي 3 تريليونات معلمة على رقائقها ذات حجم الرقاقة وتخدم المستخدمين بها فعليًا: 59 رقاقة في المجموع. هذه ليست مواصفات جهاز واحد، بل تخطيط الأجهزة بالكامل.

من أين يأتي الرقم 59؟

ابدأ بتخزين النموذج: يفترض Cerebras أن كل معلمة مخزنة في 4 بتات، وبالتالي فإن 3 تريليون معلمة من الأوزان وحدها تصل إلى حوالي 1.5 تيرابايت؛ مع 44 جيجابايت من الذاكرة الموجودة على الرقاقة لكل رقاقة، تحتاج الأوزان وحدها إلى ما لا يقل عن 35 رقاقة تقريبًا قبل توفير أي مجال لطلبات المستخدم. يحتوي Kimi K3 على 93 طبقة: 69 طبقة انتباه خطي و24 طبقة اهتمام كثيف. تقوم طبقات الانتباه الكثيفة بتخزين ذاكرة التخزين المؤقت KV التي تنمو مع طول الطلب، لذلك تمنح Cerebras كل واحدة منها الرقاقة الخاصة بها؛ طبقات الاهتمام الخطي تنقسم إلى اثنتين لكل رقاقة عبر 35 رقاقة؛ الاثنان يضيفان ما يصل إلى 59. ويفترض الحساب أيضًا وجود ذاكرة تخزين مؤقت KV 8 بت ومتوسط ​​طلب يبلغ 256000 رمزًا مميزًا، وتعلن الشركة عن سرعات إخراج تتراوح من 1000 إلى 2000 رمزًا إضافيًا في الثانية لنماذج متعددة تريليونات المعلمات.

التحذير المهم: هذه ليست نتيجة مقاسة بعد

يجب رسم الخط بوضوح: لم تحدد Cerebras ما إذا كان تخطيط Kimi K3 قد تم تشغيله بالفعل، ولم تنشر أي شروط مرجعية كاملة، أو قياس استهلاك الطاقة، أو عدد واضح للمستخدمين المتزامنين الذين يدعمهم التخطيط؛ إن ما يزيد عن 1000 إلى 2000 رمز في الثانية هو السرعة المعلن عنها للشركة لهذه الفئة من النماذج، وليست نتيجة مقاسة لهذا التخطيط. تعترف الشركة نفسها بأن حجم الدفعة والتزامن وحدهما لا يحددان كفاءة الاستدلال، وأن المقياس الحقيقي يجب أن يكون رموزًا لكل وحدة طاقة بنفس سرعة الإخراج. لاحظ أيضًا أن Cerebras تقوم بتقريب Kimi K3 إلى حوالي 3 تريليون معلمة، في حين أن وثائق نموذج Alibaba Cloud تسرد 2.8 تريليون مع نافذة سياق مكونة من مليون رمز مميز - وهو سقف القدرة، وليس نفس الشيء مثل متوسط ​​طول الطلب المفترض في الحساب.

سابقة هذه الطريقة هي خط الأنابيب متعدد الأنظمة السابق لشركة Cerebras لـ GPT-5.6 Sol، والذي تم الإعلان عنه بما يصل إلى 750 رمزًا في الثانية؛ هذه سابقة للطريقة وليست بطاقة تقرير لـ Kimi K3. لكي يستمر ادعاء الرقاقة 59، يجب أن يكون التسليم التالي عبارة عن قياس وفقًا لنفس الافتراضات: النموذج والدقة، وأطوال الطلب والحمل، وعدد الأجهزة، والسرعة والطاقة معًا.