DeepSeek が Nvidia および Huawei Ascend チップ向けの DeepInfer 推論フレームワークをオープンソース化

完全なレポート

DeepSeek は、DeepInfer を「DeepSeek の大規模な運用サービスを強化する高性能推論フレームワーク」と説明しています。最初のリリースは、Nvidia SM100 GPU (CUDA 13) と Huawei Ascend 950 NPU (CANN 9.2) の 2 種類のデータセンター ハードウェアで単一モデル DeepSeek-V4.1-Flash をサポートします。

技術的には、カスタム オペレーター (FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、TileLang オペレーター)、EPLB ロード バランシングによる MoE エキスパート並列処理、DSpark 投機的デコード (デフォルトのドラフト長 5)、非同期スケジューリング、バッチ不変推論および決定論的サンプリング (Nvidia のみ)、および構造化出力 (正規表現 / JSON スキーマ / EBNF) が含まれます。 README には、「もともと主に vLLM に基づいて構築され、SGLang と TensorRT-LLM から追加のインスピレーションを得た」と記載されています。

このリリースでは、KV キャッシュ システム、プリフィル/デコード分解、およびクロスレプリカ ロード バランシングが除外されています。ベンチマークは、4 つの SM100 GPU (プリフィル) と 64 の (デコード) で測定されました。 DeepSeek はまた、公式 API と一致するトークナイザー/エンコーディング コンポーネントである deepseek-recipe をオープンソース化しました。

背景: メディアは、DeepSeek が 2025 年 4 月に完全な推論エンジンをオープンソース化する計画はないと述べたと報道し、これは逆転となる。この発表は、米国連邦政府が連邦政府機関にディープシークの禁止を命じた翌日に行われた。 DeepSeek は、単一の V4.1-Flash クラスターが 1 日あたり 155 兆のトークンを処理すると主張しています (独自に検証されていません)。