DeepSeek 開源自家 AI 推理框架 DeepInfer　同時支援輝達與華為昇騰晶片

全文

DeepSeek 表示，DeepInfer 是「支撐 DeepSeek 大規模生產服務的高性能推理框架」。首版僅支援一個模型：DeepSeek-V4.1-Flash；支援兩類數據中心硬體：輝達 SM100 GPU（需 CUDA 13）與華為昇騰 950 NPU（需 CANN 9.2）。

技術上包含自研算子（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、TileLang 算子）、MoE 專家並行＋EPLB 負載均衡、DSpark 推測解碼（預設草稿長度 5）、異步調度、批次不變推理與確定性採樣（僅輝達），以及結構化輸出（regex／JSON schema／EBNF）。README 致謝該框架「主要基於 vLLM 構建，並從 SGLang 與 TensorRT-LLM 獲得啟發」。

本次開源範圍不包括 KV 快取系統、Prefill／Decode 解耦與跨副本負載均衡；基準測試在 4 張 SM100（prefill）／64 張（decode）上測得。同批還開源了 deepseek-recipe（官方 API 對應的 token 編解碼組件）。

背景：媒體報導稱，DeepSeek 曾在 2025 年 4 月表示不打算開源整套推理引擎，此次被視為態度反轉；公告時機恰在美國聯邦政府下令聯邦機構禁用 DeepSeek 的次日。DeepSeek 自稱其 V4.1-Flash 單一叢集每天服務 155 萬億 token（未經第三方驗證）。