N環球 N GLOBE
중국 기술

DeepSeek 오픈 소스 Nvidia 및 Huawei Ascend 칩용 DeepInfer 추론 프레임워크

· N GLOBE

DeepSeek은 Apache 2.0에서 대규모 프로덕션 서비스를 지원하는 고성능 추론 프레임워크인 DeepInfer를 오픈 소스로 보유하고 있습니다. 첫 번째 릴리스는 Nvidia SM100 GPU 및 Huawei Ascend 950 NPU에서 DeepSeek-V4.1-Flash를 지원합니다.

왜 중요한가요?

중국 AI 연구소 DeepSeek는 공식 X 계정(@deepseek_ai, "개방형 모델. 개방형 커널. 개방형 추론"으로 끝나는 4포스트 스레드)을 통해 대규모 생산 서비스의 기반이 되는 추론 프레임워크인 DeepInfer를 완전 오픈 소스화한다고 발표했습니다. 이 코드는 Apache 2.0 라이선스에 따라 GitHub(github.com/deepseek-ai/DeepInfer)에 있으며 상업용 자체 호스팅이 가능합니다. 저장소는 11,000개가 넘는 별을 빠르게 모았습니다.

전체 보고서

DeepSeek은 DeepInfer를 "DeepSeek의 대규모 생산 서비스를 지원하는 고성능 추론 프레임워크"라고 설명합니다. 첫 번째 릴리스는 Nvidia SM100 GPU(CUDA 13) 및 Huawei Ascend 950 NPU(CANN 9.2)의 두 종류의 데이터 센터 하드웨어에서 단일 모델인 DeepSeek-V4.1-Flash를 지원합니다.

기술적으로 여기에는 사용자 정의 연산자(FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang 연산자), EPLB 로드 밸런싱을 통한 MoE 전문 병렬 처리, DSpark 추측 디코딩(기본 초안 길이 5), 비동기 스케줄링, 일괄 불변 추론 및 결정론적 샘플링(Nvidia만 해당) 및 구조화된 출력(regex/JSON 스키마/EBNF)이 포함됩니다. README에서는 "원래 주로 vLLM을 기반으로 구축되었으며 SGLang 및 TensorRT-LLM에서 추가적인 영감을 얻었습니다"라고 평가합니다.

이 릴리스에는 KV 캐시 시스템, 사전 채우기/디코드 분리 및 복제본 간 로드 밸런싱이 제외됩니다. 벤치마크는 4개의 SM100 GPU(프리필) 및 64개(디코드)에서 측정되었습니다. DeepSeek은 또한 공식 API와 일치하는 토크나이저/인코딩 구성 요소인 deepseek-recipe를 오픈 소스로 공개했습니다.

맥락: 언론은 DeepSeek이 2025년 4월에 전체 추론 엔진을 오픈 소스화할 계획이 없다고 밝혔으며 이는 반전되었다고 보도했습니다. 이번 발표는 미국 연방 정부가 연방 기관에 DeepSeek 금지를 명령한 지 하루 만에 나왔습니다. DeepSeek은 단일 V4.1-Flash 클러스터가 하루에 155조 개의 토큰을 제공한다고 주장합니다(독립적으로 검증되지 않음).

💬 Comments

No comments yet. Be the first!