3-டிரில்லியன் அளவுரு மாதிரியை வைத்திருக்க 59 செதில்கள் தேவை: செரிப்ராஸ் அதன் கிமி கே3 கணிதத்தைக் காட்டுகிறது

பெரிய மாடல்கள் என்றால் பெரிய வன்பொருள் பில்கள். அக்டோபர் 22 தேதியிட்ட ஒரு தொழில்நுட்ப இடுகையில், AI சிப்மேக்கர் செரிப்ராஸ், Moonshot AI இன் தோராயமாக 3-டிரில்லியன் அளவுருவான Kimi K3 ஐ அதன் வேஃபர் அளவிலான சில்லுகளில் பொருத்துவதற்கு என்ன செய்ய வேண்டும் என்பதைக் கண்டுபிடித்தது மற்றும் உண்மையில் அதன் மூலம் பயனர்களுக்கு சேவை செய்கிறது: மொத்தம் 59 செதில்கள். இது ஒரு இயந்திரத்தின் விவரக்குறிப்பு அல்ல, ஆனால் முழு வன்பொருள் தளவமைப்பு.

எண் 59 எங்கிருந்து வருகிறது

மாதிரியை சேமிப்பதில் தொடங்கவும்: செரிப்ராஸ் ஒவ்வொரு அளவுருவையும் 4 பிட்களில் சேமித்து வைக்கிறது, எனவே 3 டிரில்லியன் அளவுருக்கள் எடைகள் மட்டும் சுமார் 1.5 டெராபைட்கள் வரை வரும்; ஒரு வேஃபருக்கு 44 ஜிபி ஆன்-சிப் நினைவகத்துடன், பயனர் கோரிக்கைகளுக்கு எந்த அறைக்கும் முன் எடைகளுக்கு மட்டும் குறைந்தபட்சம் 35 செதில்கள் தேவை. கிமி கே3 93 அடுக்குகளைக் கொண்டுள்ளது: 69 நேரியல்-கவனம் அடுக்குகள் மற்றும் 24 அடர்த்தியான-கவனம் அடுக்குகள். அடர்த்தியான-கவனம் அடுக்குகள் கோரிக்கை நீளத்துடன் வளரும் KV தற்காலிக சேமிப்பை சேமிக்கின்றன, எனவே செரிப்ராஸ் ஒவ்வொன்றும் அதன் சொந்த செதில்களை வழங்குகிறது; நேரியல்-கவனம் அடுக்குகள் 35 செதில்களில் ஒரு செதில் ஒன்றுக்கு இரண்டு செல்கின்றன; இரண்டும் சேர்த்து 59. கணக்கீடு 8-பிட் KV கேச் மற்றும் சராசரியாக 256,000 டோக்கன்களின் கோரிக்கையை எடுத்துக்கொள்கிறது, மேலும் நிறுவனம் பல டிரில்லியன் அளவுரு மாதிரிகளுக்கு வினாடிக்கு 1,000 முதல் 2,000-க்கும் அதிகமான டோக்கன்களின் வெளியீட்டு வேகத்தை விளம்பரப்படுத்துகிறது.

முக்கியமான எச்சரிக்கை: இது இன்னும் அளவிடப்பட்ட முடிவு அல்ல

கோடு தெளிவாக வரையப்பட்டிருக்க வேண்டும்: கிமி கே3 தளவமைப்பு உண்மையில் இயக்கப்பட்டதா என்பதை செரிப்ராஸ் நிறுவவில்லை, மேலும் முழு அளவுகோல் நிலைகள், அளவிடப்பட்ட மின் நுகர்வு அல்லது தளவமைப்பு ஆதரிக்கும் ஒரே நேரத்தில் பயனர்களின் தெளிவான எண்ணிக்கை ஆகியவற்றை வெளியிடவில்லை; வினாடிக்கு 1,000-லிருந்து 2,000-க்கும் அதிகமான டோக்கன்கள் என்பது இந்த வகை மாடலுக்கான நிறுவனத்தின் விளம்பரப்படுத்தப்பட்ட வேகம், இந்த தளவமைப்பிற்கான அளவிடப்பட்ட முடிவு அல்ல. தொகுதி அளவு மற்றும் ஒத்திசைவு மட்டுமே அனுமானத்தின் செயல்திறனை நிறுவாது, மேலும் உண்மையான அளவுகோல் அதே வெளியீட்டு வேகத்தில் ஒரு யூனிட் சக்திக்கு டோக்கன்களாக இருக்க வேண்டும் என்று நிறுவனமே ஒப்புக்கொள்கிறது. செரிப்ராஸ் கிமி K3 ஐ சுமார் 3 டிரில்லியன் அளவுருக்களுக்குச் சுற்றுகிறது என்பதையும் கவனத்தில் கொள்ளவும், அதே சமயம் அலிபாபா கிளவுட்டின் மாதிரி ஆவணங்கள் ஒரு மில்லியன் டோக்கன் சூழல் சாளரத்துடன் 2.8 டிரில்லியன் பட்டியலிடுகிறது - திறன் உச்சவரம்பு, கணக்கீட்டில் கருதப்படும் சராசரி கோரிக்கை நீளம் போன்றது அல்ல.

GPT-5.6 Sol க்கான செரிப்ராஸின் முந்தைய மல்டி-சிஸ்டம் பைப்லைன் இந்த முறையின் முன்னோடியாகும், இது ஒரு வினாடிக்கு 750 டோக்கன்கள் வரை விளம்பரப்படுத்தப்பட்டது; இது முறைக்கு ஒரு முன்னுதாரணமாகும், கிமி கே3க்கான அறிக்கை அட்டை அல்ல. 59-வேஃபர் க்ளெய்ம் நிலைத்திருக்க, அடுத்த வழங்கக்கூடியது அதே அனுமானங்களின் கீழ் ஒரு அளவீடாக இருக்க வேண்டும்: மாதிரி மற்றும் துல்லியம், கோரிக்கை நீளம் மற்றும் சுமை, வன்பொருள் எண்ணிக்கை மற்றும் வேகம் மற்றும் சக்தி ஒன்றாக.