N環球 N GLOBE
فناوری چین

چارچوب استنتاج DeepInfer منبع باز DeepSeek برای چیپ های انویدیا و هواوی Ascend

· N GLOBE

DeepSeek دارای DeepInfer منبع باز است، چارچوب استنتاج با کارایی بالا در پشت خدمات تولید در مقیاس بزرگ خود، تحت آپاچی 2.0. نسخه اول از DeepSeek-V4.1-Flash در پردازنده های گرافیکی Nvidia SM100 و Huawei Ascend 950 NPU پشتیبانی می کند.

چرا مهم است

آزمایشگاه هوش مصنوعی چینی DeepSeek در حساب رسمی X خود (@deepseek_ai، یک موضوع چهار پستی که با «مدل‌های باز. هسته‌های باز. استنتاج باز» به پایان می‌رسد) اعلام کرد که DeepInfer کاملاً منبع باز است، چارچوب استنباط پشت خدمات تولید در مقیاس بزرگ آن. کد در GitHub در github.com/deepseek-ai/DeepInfer تحت مجوز Apache 2.0 قرار دارد و امکان میزبانی تجاری خود را فراهم می کند. این مخزن به سرعت بیش از 11000 ستاره جمع آوری کرد.

گزارش کامل

DeepSeek DeepInfer را به عنوان "چارچوب استنتاج با عملکرد بالا که خدمات تولید در مقیاس بزرگ DeepSeek را تقویت می کند" توصیف می کند. نسخه اول از یک مدل واحد، DeepSeek-V4.1-Flash، روی دو نوع سخت افزار مرکز داده پشتیبانی می کند: پردازنده های گرافیکی Nvidia SM100 (CUDA 13) و Huawei Ascend 950 NPU (CANN 9.2).

از نظر فنی شامل اپراتورهای سفارشی (FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect، اپراتورهای TileLang)، موازی سازی خبره MoE با تعادل بار EPLB، رمزگشایی گمانه زنی DSpark (طول پیش‌نویس پیش‌فرض 5)، زمان‌بندی ناهمزمان، صرفاً ساختاربندی دسته‌ای و غیرقابل تغییر است. خروجی ها (رجکس / طرحواره JSON / EBNF). README آن را به عنوان "در اصل بر روی vLLM ساخته شده است، با الهام از SGLang و TensorRT-LLM."

این نسخه شامل سیستم کش KV، جداسازی پیش پر/ رمزگشایی و متعادل سازی بار متقابل می شود. معیارها بر روی 4 GPU SM100 (پیش پر کردن) و 64 (رمزگشایی) اندازه‌گیری شدند. DeepSeek همچنین منبع باز Deepseek-Recipe، مؤلفه توکنایزر/رمزگذار با API رسمی آن مطابقت دارد.

زمینه: رسانه ها گزارش دادند که DeepSeek در آوریل 2025 اعلام کرد که قصد ندارد موتور استنتاج کامل خود را منبع باز کند، و این یک تغییر است. این اعلامیه یک روز پس از آن منتشر شد که دولت فدرال ایالات متحده به آژانس های فدرال دستور داد تا DeepSeek را ممنوع کنند. DeepSeek ادعا می کند که یک کلاستر V4.1-Flash به 155 تریلیون توکن در روز خدمت می کند (به طور مستقل تأیید نشده است).

💬 Comments

No comments yet. Be the first!