N環球 
DeepSeek Open-Sources DeepInfer Inference Framework para Nvidia e Huawei Ascend Chips
DeepSeek abriu o código-fonte do DeepInfer, a estrutura de inferência de alto desempenho por trás de seus serviços de produção em larga escala, no Apache 2.0. A primeira versão suporta DeepSeek-V4.1-Flash em GPUs Nvidia SM100 e NPUs Huawei Ascend 950.
Por que isso importa
O laboratório chinês de IA DeepSeek anunciou em sua conta oficial X (@deepseek_ai, um tópico de quatro postagens terminando com "Modelos abertos. Kernels abertos. Inferência aberta.") que é totalmente open-source do DeepInfer, a estrutura de inferência por trás de seus serviços de produção em larga escala. O código está no GitHub em github.com/deepseek-ai/DeepInfer sob a licença Apache 2.0, permitindo auto-hospedagem comercial. O repositório reuniu rapidamente mais de 11.000 estrelas.
Relatório completo
DeepSeek descreve DeepInfer como “a estrutura de inferência de alto desempenho que alimenta os serviços de produção em grande escala da DeepSeek”. A primeira versão suporta um único modelo, DeepSeek-V4.1-Flash, em dois tipos de hardware de datacenter: GPUs Nvidia SM100 (CUDA 13) e NPUs Huawei Ascend 950 (CANN 9.2).
Tecnicamente, inclui operadores personalizados (operadores FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang), paralelismo especializado MoE com balanceamento de carga EPLB, decodificação especulativa DSpark (comprimento de rascunho padrão 5), agendamento assíncrono, inferência invariante em lote e amostragem determinística (somente Nvidia) e saídas estruturadas (esquema regex/JSON/EBNF). O README o credita como "originalmente construído principalmente em vLLM, com inspiração adicional de SGLang e TensorRT-LLM."
Esta versão exclui o sistema de cache KV, desagregação de pré-preenchimento/decodificação e balanceamento de carga entre réplicas; os benchmarks foram medidos em 4 GPUs SM100 (pré-preenchimento) e 64 (decodificação). DeepSeek também fornece receita deepseek de código aberto, o componente tokenizador/codificação que corresponde à sua API oficial.
Contexto: a mídia informou que a DeepSeek disse em abril de 2025 que não planejava abrir o código-fonte de seu mecanismo de inferência completo, tornando isso uma reversão; o anúncio veio um dia depois que o governo federal dos EUA ordenou que as agências federais proibissem o DeepSeek. DeepSeek afirma que um único cluster V4.1-Flash atende 155 trilhões de tokens por dia (não verificado de forma independente).
💬 Comments
No comments yet. Be the first!