3-ٹریلین پیرامیٹر ماڈل کو پکڑنے میں 59 ویفرز لگتے ہیں: سیریبراس اپنا Kimi K3 ریاضی دکھاتا ہے

بڑے ماڈلز کا مطلب ہے ہارڈ ویئر کے بڑے بل۔ 22 اکتوبر کی ایک تکنیکی پوسٹ میں، AI chipmaker Cerebras نے بتایا کہ Moonshot AI کے تقریباً 3-ٹریلین پیرامیٹر Kimi K3 کو اس کے ویفر اسکیل چپس پر فٹ کرنے کے لیے کیا کرنا پڑے گا اور درحقیقت اس کے ساتھ صارفین کی خدمت کریں گے: کل 59 ویفر۔ یہ ایک مشین کی تصریح نہیں ہے بلکہ پوری ہارڈ ویئر کی ترتیب ہے۔

جہاں سے 59 نمبر آتا ہے۔

ماڈل کو ذخیرہ کرنے کے ساتھ شروع کریں: Cerebras 4 بٹس میں ذخیرہ شدہ ہر پیرامیٹر کو فرض کرتا ہے، لہذا صرف وزن کے 3 ٹریلین پیرامیٹرز تقریباً 1.5 ٹیرا بائٹس پر آتے ہیں۔ فی ویفر 44 جی بی آن چپ میموری کے ساتھ، صارف کی درخواستوں کے لیے کسی بھی کمرے سے پہلے صرف وزن کے لیے کم از کم تقریباً 35 ویفرز کی ضرورت ہوتی ہے۔ Kimi K3 میں 93 پرتیں ہیں: 69 لکیری-توجہ کی تہیں اور 24 گھنی-توجہ کی تہیں۔ گھنی توجہ کی تہہ ایک KV کیشے کو ذخیرہ کرتی ہے جو درخواست کی لمبائی کے ساتھ بڑھتا ہے، لہذا سیریبراس ہر ایک کو اپنا ویفر دیتا ہے۔ لکیری توجہ کی تہیں 35 ویفرز میں دو فی ویفر پر جاتی ہیں۔ دونوں میں 59 کا اضافہ ہوتا ہے۔ حساب میں 8 بٹ KV کیش اور 256,000 ٹوکنز کی اوسط درخواست بھی فرض کی جاتی ہے، اور کمپنی ملٹی ٹریلین پیرامیٹر ماڈلز کے لیے 1,000 سے 2,000 سے زیادہ ٹوکن فی سیکنڈ کی آؤٹ پٹ سپیڈ کا اشتہار دیتی ہے۔

اہم انتباہ: یہ ابھی تک ایک ماپا نتیجہ نہیں ہے

لائن واضح طور پر کھینچی جانی چاہیے: Cerebras نے یہ قائم نہیں کیا ہے کہ آیا Kimi K3 لے آؤٹ واقعی چلایا گیا تھا، اور اس نے کوئی مکمل بینچ مارک حالات، بجلی کی کھپت کی پیمائش، یا بیک وقت استعمال کرنے والوں کی واضح گنتی شائع نہیں کی ہے جو لے آؤٹ کی حمایت کرتا ہے۔ 1,000 سے 2,000 پلس ٹوکن فی سیکنڈ فیگر اس کلاس کے ماڈل کے لیے کمپنی کی اشتہاری رفتار ہے، نہ کہ اس ترتیب کے لیے ناپے گئے نتائج۔ کمپنی خود تسلیم کرتی ہے کہ صرف بیچ کا سائز اور ہم آہنگی ہی انفرنس کی کارکردگی کو قائم نہیں کرتی ہے، اور یہ کہ اصلی یارڈ اسٹک اسی آؤٹ پٹ کی رفتار پر فی یونٹ پاور ٹوکن ہونا چاہیے۔ یہ بھی نوٹ کریں کہ Cerebras Kimi K3 کو تقریباً 3 ٹریلین پیرامیٹرز پر راؤنڈ کرتا ہے، جب کہ علی بابا کلاؤڈ کے ماڈل کی دستاویزات میں 2.8 ٹریلین کو ایک ملین ٹوکن سیاق و سباق کی ونڈو کے ساتھ درج کیا گیا ہے۔

طریقہ کار کی نظیر GPT-5.6 Sol کے لیے Cerebras کی پہلے کی ملٹی سسٹم پائپ لائن ہے، جس کی تشہیر 750 ٹوکن فی سیکنڈ تک کی جاتی ہے۔ یہ طریقہ کار کی نظیر ہے، Kimi K3 کے لیے رپورٹ کارڈ نہیں۔ کھڑے ہونے کے لیے 59-wafer کے دعوے کے لیے، اگلی ڈیلیوریبل ایک ہی مفروضوں کے تحت پیمائش ہونی چاہیے: ماڈل اور درستگی، درخواست کی لمبائی اور بوجھ، ہارڈ ویئر کی گنتی، اور رفتار اور طاقت ایک ساتھ۔