एनवीडिया और हुआवेई एसेंड चिप्स के लिए डीपसीक ओपन-सोर्स डीपइन्फेर इंफ्रेंस फ्रेमवर्क

पूरी रिपोर्ट

डीपसीक ने डीपइन्फर को "उच्च-प्रदर्शन अनुमान ढांचे के रूप में वर्णित किया है जो डीपसीक की बड़े पैमाने पर उत्पादन सेवाओं को शक्ति प्रदान करता है।" पहली रिलीज़ दो प्रकार के डेटासेंटर हार्डवेयर पर एकल मॉडल, डीपसीक-वी4.1-फ्लैश का समर्थन करती है: एनवीडिया एसएम100 जीपीयू (सीयूडीए 13) और हुआवेई एसेंड 950 एनपीयू (सीएएनएन 9.2)।

तकनीकी रूप से इसमें कस्टम ऑपरेटर (फ्लैशएमएलए, डीपजीईएमएम, डीपईपी, टाइल कर्नेल, डीपसेलेक्ट, टाइललैंग ऑपरेटर), ईपीएलबी लोड संतुलन के साथ एमओई विशेषज्ञ समानता, डीस्पार्क सट्टा डिकोडिंग (डिफ़ॉल्ट ड्राफ्ट लंबाई 5), अतुल्यकालिक शेड्यूलिंग, बैच-इनवेरिएंट अनुमान और नियतात्मक नमूनाकरण (केवल एनवीडिया), और संरचित आउटपुट (रेगेक्स / जेएसओएन स्कीमा / ईबीएनएफ) शामिल हैं। README इसे "मूल रूप से मुख्य रूप से vLLM पर निर्मित, SGLang और TensorRT-LLM से अतिरिक्त प्रेरणा के साथ" के रूप में श्रेय देता है।

इस रिलीज़ में केवी कैश सिस्टम, प्रीफ़िल/डीकोड डिसएग्रीगेशन और क्रॉस-रेप्लिका लोड बैलेंसिंग शामिल नहीं है; बेंचमार्क को 4 SM100 GPU (प्रीफ़िल) और 64 (डीकोड) पर मापा गया। डीपसीक ने डीपसीक-रेसिपी भी ओपन-सोर्स किया है, जो इसके आधिकारिक एपीआई से मेल खाने वाला टोकननाइज़र/एन्कोडिंग घटक है।

संदर्भ: मीडिया ने बताया कि डीपसीक ने अप्रैल 2025 में कहा कि उसने अपने पूर्ण अनुमान इंजन को ओपन-सोर्स करने की योजना नहीं बनाई है, जिससे यह उलट हो गया है; यह घोषणा अमेरिकी संघीय सरकार द्वारा संघीय एजेंसियों को डीपसीक पर प्रतिबंध लगाने के आदेश के एक दिन बाद आई। डीपसीक का दावा है कि एक एकल V4.1-फ़्लैश क्लस्टर प्रति दिन 155 ट्रिलियन टोकन प्रदान करता है (स्वतंत्र रूप से सत्यापित नहीं)।