N環球 N GLOBE
چین ٹیکنالوجی

ڈیپ سیک اوپن سورسز ڈیپ انفر انفرنس فریم ورک برائے Nvidia اور Huawei Ascend Chips

· N GLOBE

ڈیپ سیک کے پاس اوپن سورس ڈیپ انفر ہے، جو اپاچی 2.0 کے تحت اپنی بڑے پیمانے پر پروڈکشن سروسز کے پیچھے اعلی کارکردگی کا اندازہ لگانے والا فریم ورک ہے۔ پہلی ریلیز Nvidia SM100 GPUs اور Huawei Ascend 950 NPUs پر DeepSeek-V4.1-Flash کو سپورٹ کرتی ہے۔

یہ کیوں اہمیت رکھتا ہے۔

چینی AI لیب DeepSeek نے اپنے آفیشل X اکاؤنٹ پر اعلان کیا (@deepseek_ai، ایک چار پوسٹ تھریڈ جس کا اختتام "اوپن ماڈلز۔ اوپن کرنل، اوپن انفرنس۔") ہے کہ یہ مکمل طور پر اوپن سورسنگ ڈیپ انفر ہے، جو اس کی بڑے پیمانے پر پروڈکشن سروسز کے پیچھے انفرنس فریم ورک ہے۔ اپاچی 2.0 لائسنس کے تحت کوڈ GitHub پر github.com/deepseek-ai/DeepInfer پر ہے، تجارتی سیلف ہوسٹنگ کی اجازت دیتا ہے۔ ذخیرہ نے تیزی سے 11,000 سے زیادہ ستارے جمع کر لیے۔

مکمل رپورٹ

DeepSeek ڈیپ انفر کو "اعلی کارکردگی کا اندازہ لگانے والے فریم ورک کے طور پر بیان کرتا ہے جو DeepSeek کی بڑے پیمانے پر پیداواری خدمات کو طاقت دیتا ہے۔" پہلی ریلیز دو قسم کے ڈیٹا سینٹر ہارڈویئر پر ایک ہی ماڈل، DeepSeek-V4.1-Flash کو سپورٹ کرتی ہے: Nvidia SM100 GPUs (CUDA 13) اور Huawei Ascend 950 NPUs (CANN 9.2)۔

تکنیکی طور پر اس میں اپنی مرضی کے آپریٹرز (FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect، TileLang آپریٹرز)، EPLB لوڈ بیلنسنگ کے ساتھ MoE ماہر متوازی، DSpark قیاس آرائی پر مبنی ضابطہ کشائی (ڈیفالٹ ڈرافٹ لمبائی 5)، غیر مطابقت پذیر شیڈولنگ، بیچ میں صرف اور صرف ڈھانچے میں غیر متزلزل ڈھانچہ شامل ہیں۔ آؤٹ پٹ (regex / JSON اسکیما / EBNF)۔ README اس کا سہرا "اصل میں بنیادی طور پر vLLM پر بنایا گیا، SGLang اور TensorRT-LLM سے اضافی الہام کے ساتھ۔"

اس ریلیز میں KV کیش سسٹم، پری فل/ڈی کوڈ ڈسگریگیشن اور کراس ریپلیکا لوڈ بیلنسنگ شامل نہیں ہے۔ بینچ مارکس کو 4 SM100 GPUs (prefill) اور 64 (decode) پر ماپا گیا۔ ڈیپ سیک اوپن سورس ڈیپ سیک ریسیپی، ٹوکنائزر/انکوڈنگ جزو اس کے آفیشل API سے مماثل ہے۔

سیاق و سباق: میڈیا نے رپورٹ کیا کہ ڈیپ سیک نے اپریل 2025 میں کہا کہ اس نے اپنے مکمل انفرنس انجن کو اوپن سورس کرنے کا ارادہ نہیں کیا، جس سے یہ ایک الٹ ہے۔ یہ اعلان امریکی وفاقی حکومت کی جانب سے وفاقی ایجنسیوں کو ڈیپ سیک پر پابندی لگانے کے حکم کے ایک دن بعد سامنے آیا ہے۔ DeepSeek کا دعویٰ ہے کہ ایک واحد V4.1-Flash کلسٹر روزانہ 155 ٹریلین ٹوکن پیش کرتا ہے (آزادانہ طور پر تصدیق شدہ نہیں)۔

💬 Comments

No comments yet. Be the first!