N環球 
DeepSeek Open-Sources DeepInfer Inference Framework para sa Nvidia at Huawei Ascend Chips
Ang DeepSeek ay may open-sourced na DeepInfer, ang high-performance inference framework sa likod ng malakihang serbisyo ng produksyon nito, sa ilalim ng Apache 2.0. Sinusuportahan ng unang release ang DeepSeek-V4.1-Flash sa mga Nvidia SM100 GPU at Huawei Ascend 950 NPU.
Bakit ito mahalaga
Inanunsyo ng Chinese AI lab DeepSeek sa opisyal na X account nito (@deepseek_ai, isang four-post thread na nagtatapos sa "Mga bukas na modelo. Open kernels. Open inference.") na ito ay ganap na open-sourcing DeepInfer, ang inference framework sa likod ng malakihang serbisyo ng produksyon nito. Ang code ay nasa GitHub sa github.com/deepseek-ai/DeepInfer sa ilalim ng lisensya ng Apache 2.0, na nagpapahintulot sa komersyal na self-hosting. Mabilis na nakalap ang repositoryo ng higit sa 11,000 bituin.
Buong ulat
Inilalarawan ng DeepSeek ang DeepInfer bilang "ang high-performance inference framework na nagpapagana sa malalaking serbisyo ng produksyon ng DeepSeek." Sinusuportahan ng unang release ang isang modelo, ang DeepSeek-V4.1-Flash, sa dalawang uri ng hardware ng datacenter: Nvidia SM100 GPUs (CUDA 13) at Huawei Ascend 950 NPUs (CANN 9.2).
Teknikal na kinabibilangan ito ng mga custom na operator (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang operator), MoE expert parallelism na may EPLB load balancing, DSpark speculative decoding (default na haba ng draft 5), asynchronous na pag-iiskedyul, batch-invariant inference at deterministic na sampling (regular na output /Nvidson output lang) EBNF). Kinikilala ito ng README bilang "orihinal na binuo sa vLLM, na may karagdagang inspirasyon mula sa SGLang at TensorRT-LLM."
Ang release na ito ay hindi kasama ang KV cache system, prefill/decode disaggregation at cross-replica load balancing; sinusukat ang mga benchmark sa 4 na SM100 GPU (prefill) at 64 (decode). DeepSeek din ang open-sourced na deepseek-recipe, ang tokenizer/encoding component na tumutugma sa opisyal na API nito.
Context: iniulat ng media na sinabi ng DeepSeek noong Abril 2025 na hindi nito planong i-open-source ang buong inference engine nito, na ginagawa itong baligtad; ang anunsyo ay dumating isang araw pagkatapos utusan ng pederal na pamahalaan ng US ang mga ahensya ng pederal na i-ban ang DeepSeek. Sinasabi ng DeepSeek na ang isang V4.1-Flash cluster ay naghahatid ng 155 trilyong token bawat araw (hindi independyenteng na-verify).
💬 Comments
No comments yet. Be the first!