DeepSeek: платформа глубокого вывода DeepInfer с открытым исходным кодом для чипов Nvidia и Huawei Ascend

Полный отчет

DeepSeek описывает DeepInfer как «высокопроизводительную среду вывода, которая обеспечивает работу крупномасштабных производственных сервисов DeepSeek». Первый выпуск поддерживает одну модель DeepSeek-V4.1-Flash на двух типах оборудования центров обработки данных: графических процессорах Nvidia SM100 (CUDA 13) и сетевых процессорах Huawei Ascend 950 (CANN 9.2).

Технически он включает в себя пользовательские операторы (операторы FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang), экспертный параллелизм MoE с балансировкой нагрузки EPLB, спекулятивное декодирование DSpark (длина черновика по умолчанию 5), асинхронное планирование, пакетно-инвариантный вывод и детерминистическую выборку (только Nvidia), а также структурированные выходные данные (регулярное выражение/схема JSON/EBNF). В README указано, что он «изначально создан в основном на основе vLLM с дополнительным вдохновением от SGLang и TensorRT-LLM».

В этом выпуске исключена система кэширования KV, дезагрегация предварительного заполнения/декодирования и балансировка нагрузки между репликами; тесты измерялись на 4 графических процессорах SM100 (предварительное заполнение) и 64 (декодирование). DeepSeek также открыл исходный код deepseek-recipe — компонента токенизатора/кодирования, соответствующего его официальному API.

Контекст: СМИ сообщили, что в апреле 2025 года компания DeepSeek заявила, что не планирует открывать исходный код своей полной системы вывода, что означает изменение ситуации; объявление было сделано на следующий день после того, как федеральное правительство США приказало федеральным агентствам запретить DeepSeek. DeepSeek утверждает, что один кластер V4.1-Flash обслуживает 155 триллионов токенов в день (независимая проверка не подтверждена).