DeepSeek 开源自家 AI 推理框架 DeepInfer　同时支援辉达与华为升腾晶片

全文

DeepSeek 表示，DeepInfer 是「支撑 DeepSeek 大规模生产服务的高性能推理框架」。首版仅支援一个模型：DeepSeek-V4.1-Flash；支援两类数据中心硬体：辉达 SM100 GPU（需 CUDA 13）与华为升腾 950 NPU（需 CANN 9.2）。

技术上包含自研算子（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、TileLang 算子）、MoE 专家并行＋EPLB 负载均衡、DSpark 推测解码（预设草稿长度 5）、异步调度、批次不变推理与确定性采样（仅辉达），以及结构化输出（regex／JSON schema／EBNF）。README 致谢该框架「主要基于 vLLM 构建，并从 SGLang 与 TensorRT-LLM 获得启发」。

本次开源范围不包括 KV 快取系统、Prefill／Decode 解耦与跨副本负载均衡；基准测试在 4 张 SM100（prefill）／64 张（decode）上测得。同批还开源了 deepseek-recipe（官方 API 对应的 token 编解码组件）。

背景：媒体报导称，DeepSeek 曾在 2025 年 4 月表示不打算开源整套推理引擎，此次被视为态度反转；公告时机恰在美国联邦政府下令联邦机构禁用 DeepSeek 的次日。DeepSeek 自称其 V4.1-Flash 单一丛集每天服务 155 万亿 token（未经第三方验证）。