DeepSeek Mã nguồn mở Khung suy luận DeepInfer cho chip Nvidia và Huawei Ascend

Báo cáo đầy đủ

DeepSeek mô tả DeepInfer là "khung suy luận hiệu suất cao hỗ trợ các dịch vụ sản xuất quy mô lớn của DeepSeek". Bản phát hành đầu tiên hỗ trợ một mẫu duy nhất, DeepSeek-V4.1-Flash, trên hai loại phần cứng trung tâm dữ liệu: GPU Nvidia SM100 (CUDA 13) và NPU Huawei Ascend 950 (CANN 9.2).

Về mặt kỹ thuật, nó bao gồm các toán tử tùy chỉnh (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, toán tử TileLang), chuyên gia MoE song song với cân bằng tải EPLB, giải mã suy đoán DSpark (độ dài dự thảo mặc định là 5), lập lịch không đồng bộ, suy luận bất biến hàng loạt và lấy mẫu xác định (chỉ Nvidia) và đầu ra có cấu trúc (regex/Lược đồ JSON/EBNF). README ghi nhận nó là "ban đầu được xây dựng chủ yếu trên vLLM, với nguồn cảm hứng bổ sung từ SGLang và TensorRT-LLM."

Bản phát hành này không bao gồm hệ thống bộ nhớ đệm KV, tính năng phân tổ điền trước/giải mã và cân bằng tải giữa các bản sao; điểm chuẩn được đo trên 4 GPU SM100 (điền trước) và 64 (giải mã). DeepSeek cũng có công thức tìm kiếm sâu có nguồn mở, thành phần mã hóa/mã thông báo phù hợp với API chính thức của nó.

Bối cảnh: phương tiện truyền thông đưa tin rằng DeepSeek cho biết vào tháng 4 năm 2025 rằng họ không có kế hoạch cung cấp nguồn mở cho công cụ suy luận đầy đủ của mình, điều này khiến điều này trở thành một sự đảo ngược; Thông báo được đưa ra một ngày sau khi chính phủ liên bang Hoa Kỳ ra lệnh cho các cơ quan liên bang cấm DeepSeek. DeepSeek tuyên bố một cụm V4.1-Flash duy nhất phục vụ 155 nghìn tỷ mã thông báo mỗi ngày (chưa được xác minh độc lập).