N環球 
DeepSeek Open-Sources DeepInfer Inference Framework для мікросхем Nvidia та Huawei Ascend
DeepSeek має DeepInfer з відкритим вихідним кодом, високопродуктивну структуру висновків, що лежить в основі його великомасштабних виробничих сервісів, під Apache 2.0. Перший випуск підтримує DeepSeek-V4.1-Flash на графічних процесорах Nvidia SM100 і Huawei Ascend 950 NPU.
Чому це важливо
Китайська лабораторія штучного інтелекту DeepSeek оголосила у своєму офіційному обліковому записі X (@deepseek_ai, ланцюжок із чотирьох дописів, який закінчується словами «Відкриті моделі. Відкриті ядра. Відкритий висновок»), що це DeepInfer із повністю відкритим вихідним кодом, структура висновків, що стоїть за її великомасштабними виробничими службами. Код розміщено на GitHub за адресою github.com/deepseek-ai/DeepInfer під ліцензією Apache 2.0, що дозволяє комерційне самостійне розміщення. Репозиторій швидко зібрав понад 11 000 зірок.
Повний звіт
DeepSeek описує DeepInfer як «високопродуктивну структуру логічного висновку, яка підтримує широкомасштабні виробничі послуги DeepSeek». Перший випуск підтримує одну модель, DeepSeek-V4.1-Flash, на двох типах апаратного забезпечення центру обробки даних: Nvidia SM100 GPU (CUDA 13) і Huawei Ascend 950 NPU (CANN 9.2).
Технічно він включає спеціальні оператори (FlashMLA, DeepGEMM, DeepEP, оператори TileKernels, DeepSelect, TileLang), експертний паралелізм MoE з балансуванням навантаження EPLB, спекулятивне декодування DSpark (довжина чернетки за замовчуванням 5), асинхронне планування, пакетно-інваріантний висновок і детерміновану вибірку (лише Nvidia) і структуровані виходи (регулярний вираз / схема JSON / EBNF). У README зазначається, що він «спочатку створений на основі vLLM, з додатковим натхненням від SGLang і TensorRT-LLM».
Цей випуск виключає систему кешу KV, дезагрегацію попереднього заповнення/декодування та балансування навантаження між репліками; тести вимірювалися на 4 графічних процесорах SM100 (попереднє заповнення) і 64 (декодування). DeepSeek також має відкритий код deepseek-recipe, компонент токенізатора/кодування, що відповідає його офіційному API.
Контекст: ЗМІ повідомили, що DeepSeek заявив у квітні 2025 року, що не планує відкрити вихідний код свого повного механізму логічного висновку, що робить це розворотом; це оголошення було зроблено через день після того, як федеральний уряд США наказав федеральним агентствам заборонити DeepSeek. DeepSeek стверджує, що один кластер V4.1-Flash обслуговує 155 трильйонів токенів на день (незалежно перевірено).
💬 Comments
No comments yet. Be the first!