3-ट्रिलियन-पैरामीटर मॉडल को धारण करने के लिए 59 वेफर्स लगते हैं: सेरेब्रस अपना किमी K3 गणित दिखाता है

बड़े मॉडल का मतलब है बड़े हार्डवेयर बिल। 22 अक्टूबर को एक तकनीकी पोस्ट में, एआई चिपमेकर सेरेब्रस ने काम किया कि मूनशॉट एआई के लगभग 3-ट्रिलियन-पैरामीटर किमी के 3 को अपने वेफर-स्केल चिप्स पर फिट करने और वास्तव में इसके साथ उपयोगकर्ताओं को सेवा प्रदान करने के लिए क्या करना होगा: कुल मिलाकर 59 वेफर्स। यह किसी एक मशीन की विशिष्टता नहीं है, बल्कि संपूर्ण हार्डवेयर लेआउट है।

59 नंबर कहां से आता है

मॉडल को संग्रहीत करने से प्रारंभ करें: सेरेब्रस प्रत्येक पैरामीटर को 4 बिट्स में संग्रहीत मानता है, इसलिए अकेले वजन के 3 ट्रिलियन पैरामीटर लगभग 1.5 टेराबाइट्स आते हैं; प्रति वेफर 44 जीबी ऑन-चिप मेमोरी के साथ, अकेले वेट को उपयोगकर्ता के अनुरोधों के लिए किसी भी स्थान से पहले कम से कम लगभग 35 वेफर्स की आवश्यकता होती है। किमी K3 में 93 परतें हैं: 69 रैखिक-ध्यान परतें और 24 सघन-ध्यान परतें। घनी-ध्यान वाली परतें एक केवी कैश को संग्रहीत करती हैं जो अनुरोध लंबाई के साथ बढ़ती है, इसलिए सेरेब्रस प्रत्येक को अपना स्वयं का वेफर देता है; रैखिक-ध्यान परतें 35 वेफर्स में प्रति वेफर दो जाती हैं; दोनों का योग 59 होता है। गणना में 8-बिट केवी कैश और 256,000 टोकन का औसत अनुरोध भी माना जाता है, और कंपनी मल्टी-ट्रिलियन-पैरामीटर मॉडल के लिए प्रति सेकंड 1,000 से 2,000 से अधिक टोकन की आउटपुट गति का विज्ञापन करती है।

महत्वपूर्ण चेतावनी: यह अभी तक मापा गया परिणाम नहीं है

रेखा स्पष्ट रूप से खींची जानी चाहिए: सेरेब्रस ने यह स्थापित नहीं किया है कि किमी K3 लेआउट वास्तव में चलाया गया था या नहीं, और कोई पूर्ण बेंचमार्क शर्तें, मापी गई बिजली की खपत, या लेआउट द्वारा समर्थित एक साथ उपयोगकर्ताओं की स्पष्ट गणना प्रकाशित नहीं की है; 1,000 से 2,000 से अधिक टोकन प्रति सेकंड का आंकड़ा इस वर्ग के मॉडल के लिए कंपनी की विज्ञापित गति है, इस लेआउट के लिए मापा गया परिणाम नहीं है। कंपनी स्वयं मानती है कि अकेले बैच आकार और समवर्तीता अनुमान दक्षता स्थापित नहीं करती है, और वास्तविक मानदंड समान आउटपुट गति पर प्रति यूनिट बिजली पर टोकन होना चाहिए। यह भी ध्यान दें कि सेरेब्रस किमी K3 को लगभग 3 ट्रिलियन मापदंडों तक पूरा करता है, जबकि अलीबाबा क्लाउड के मॉडल दस्तावेज़ीकरण में एक मिलियन-टोकन संदर्भ विंडो के साथ 2.8 ट्रिलियन की सूची है - एक क्षमता सीमा, गणना में मान ली गई औसत अनुरोध लंबाई के समान नहीं है।

विधि के लिए मिसाल GPT-5.6 Sol के लिए सेरेब्रस की पिछली मल्टी-सिस्टम पाइपलाइन है, जिसे प्रति सेकंड 750 टोकन तक विज्ञापित किया गया था; यह पद्धति के लिए एक मिसाल है, किमी K3 के लिए रिपोर्ट कार्ड नहीं। 59-वेफर दावे को कायम रखने के लिए, अगला वितरण समान मान्यताओं के तहत एक माप होना चाहिए: मॉडल और परिशुद्धता, अनुरोध लंबाई और लोड, हार्डवेयर गणना, और गति और शक्ति एक साथ।