N環球 
Marco de inferencia DeepInfer de código abierto de DeepSeek para chips Nvidia y Huawei Ascend
DeepSeek tiene DeepInfer de código abierto, el marco de inferencia de alto rendimiento detrás de sus servicios de producción a gran escala, bajo Apache 2.0. La primera versión admite DeepSeek-V4.1-Flash en GPU Nvidia SM100 y NPU Huawei Ascend 950.
Por qué es importante
El laboratorio chino de IA DeepSeek anunció en su cuenta oficial X (@deepseek_ai, un hilo de cuatro publicaciones que termina con "Modelos abiertos. Núcleos abiertos. Inferencia abierta") que es un sistema de código abierto para DeepInfer, el marco de inferencia detrás de sus servicios de producción a gran escala. El código está en GitHub en github.com/deepseek-ai/DeepInfer bajo la licencia Apache 2.0, lo que permite el autohospedaje comercial. El depósito reunió rápidamente más de 11.000 estrellas.
Informe completo
DeepSeek describe DeepInfer como "el marco de inferencia de alto rendimiento que impulsa los servicios de producción a gran escala de DeepSeek". La primera versión admite un solo modelo, DeepSeek-V4.1-Flash, en dos tipos de hardware de centro de datos: GPU Nvidia SM100 (CUDA 13) y NPU Huawei Ascend 950 (CANN 9.2).
Técnicamente incluye operadores personalizados (operadores FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang), paralelismo experto de MoE con equilibrio de carga EPLB, decodificación especulativa DSpark (longitud de borrador predeterminada 5), programación asincrónica, inferencia invariante por lotes y muestreo determinista (solo Nvidia) y salidas estructuradas (regex/esquema JSON/EBNF). El README lo acredita como "originalmente construido principalmente en vLLM, con inspiración adicional de SGLang y TensorRT-LLM".
Esta versión excluye el sistema de caché KV, la desagregación de precarga/decodificación y el equilibrio de carga entre réplicas; Los puntos de referencia se midieron en 4 GPU SM100 (precarga) y 64 (decodificación). DeepSeek también es de código abierto deepseek-recipe, el componente tokenizador/codificador que coincide con su API oficial.
Contexto: los medios informaron que DeepSeek dijo en abril de 2025 que no planeaba abrir el código abierto de su motor de inferencia completo, lo que hace que esto sea un cambio; El anuncio se produjo un día después de que el gobierno federal de Estados Unidos ordenara a las agencias federales prohibir DeepSeek. DeepSeek afirma que un único clúster V4.1-Flash sirve 155 billones de tokens por día (no verificado de forma independiente).
💬 Comments
No comments yet. Be the first!