N環球 N GLOBE
ਚੀਨ ਤਕਨਾਲੋਜੀ

Nvidia ਅਤੇ Huawei Ascend Chips ਲਈ DeepSeek ਓਪਨ-ਸੋਰਸ ਡੀਪਇਨਫਰ ਇਨਫਰੈਂਸ ਫਰੇਮਵਰਕ

· N GLOBE

DeepSeek ਕੋਲ ਅਪਾਚੇ 2.0 ਦੇ ਅਧੀਨ, ਓਪਨ-ਸੋਰਸਡ DeepInfer ਹੈ, ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਫਰੇਮਵਰਕ, ਇਸਦੇ ਵੱਡੇ ਪੈਮਾਨੇ ਦੀਆਂ ਉਤਪਾਦਨ ਸੇਵਾਵਾਂ ਦੇ ਪਿੱਛੇ। ਪਹਿਲੀ ਰੀਲੀਜ਼ Nvidia SM100 GPUs ਅਤੇ Huawei Ascend 950 NPUs 'ਤੇ DeepSeek-V4.1-Flash ਦਾ ਸਮਰਥਨ ਕਰਦੀ ਹੈ।

ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ

ਚੀਨੀ AI ਲੈਬ DeepSeek ਨੇ ਆਪਣੇ ਅਧਿਕਾਰਤ X ਖਾਤੇ (@deepseek_ai, "ਓਪਨ ਮਾਡਲ. ਓਪਨ ਕਰਨਲ. ਓਪਨ ਇਨਫਰੈਂਸ" ਨਾਲ ਖਤਮ ਹੋਣ ਵਾਲਾ ਚਾਰ-ਪੋਸਟ ਥ੍ਰੈਡ) 'ਤੇ ਘੋਸ਼ਣਾ ਕੀਤੀ ਹੈ ਕਿ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਓਪਨ-ਸੋਰਸਿੰਗ DeepInfer ਹੈ, ਜੋ ਕਿ ਇਸਦੀਆਂ ਵੱਡੇ ਪੈਮਾਨੇ ਦੀਆਂ ਉਤਪਾਦਨ ਸੇਵਾਵਾਂ ਦੇ ਪਿੱਛੇ ਅਨੁਮਾਨ ਫਰੇਮਵਰਕ ਹੈ। ਕੋਡ ਅਪਾਚੇ 2.0 ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ github.com/deepseek-ai/DeepInfer 'ਤੇ GitHub 'ਤੇ ਹੈ, ਵਪਾਰਕ ਸਵੈ-ਹੋਸਟਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਰਿਪੋਜ਼ਟਰੀ ਨੇ ਤੇਜ਼ੀ ਨਾਲ 11,000 ਤੋਂ ਵੱਧ ਤਾਰੇ ਇਕੱਠੇ ਕਰ ਲਏ।

ਪੂਰੀ ਰਿਪੋਰਟ

ਡੀਪਸੀਕ ਨੇ ਡੀਪਇਨਫਰ ਨੂੰ "ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਫਰੇਮਵਰਕ ਵਜੋਂ ਦਰਸਾਇਆ ਹੈ ਜੋ ਡੀਪਸੀਕ ਦੀਆਂ ਵੱਡੇ-ਪੱਧਰੀ ਉਤਪਾਦਨ ਸੇਵਾਵਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।" ਪਹਿਲੀ ਰੀਲੀਜ਼ ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ, DeepSeek-V4.1-Flash, ਨੂੰ ਦੋ ਕਿਸਮ ਦੇ ਡਾਟਾਸੈਂਟਰ ਹਾਰਡਵੇਅਰ ਦਾ ਸਮਰਥਨ ਕਰਦੀ ਹੈ: Nvidia SM100 GPUs (CUDA 13) ਅਤੇ Huawei Ascend 950 NPUs (CANN 9.2)।

ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਇਸ ਵਿੱਚ ਕਸਟਮ ਓਪਰੇਟਰ (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang ਓਪਰੇਟਰ), EPLB ਲੋਡ ਬੈਲੇਂਸਿੰਗ ਦੇ ਨਾਲ MoE ਮਾਹਰ ਸਮਾਨਤਾ, DSpark ਸਪੇਕਿਊਲੇਟਿਵ ਡੀਕੋਡਿੰਗ (ਡਿਫਾਲਟ ਡਰਾਫਟ ਲੰਬਾਈ 5), ਅਸਿੰਕ੍ਰੋਨਸ ਸ਼ਡਿਊਲਿੰਗ, ਬੈਚ-ਇਨਟੈਰਿਨਸਟਿਕ ਸਟਰੱਕਚਰ ਅਤੇ ਸਿਰਫ ਡੀਮਪ-ਇਨਟੈਰਿਫੈਂਸ (ਬੈਚ-ਇਨਟਰਨਵਿਲੈਂਸ) ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ। ਆਉਟਪੁੱਟ (regex / JSON ਸਕੀਮਾ / EBNF)। README ਇਸਦਾ ਕ੍ਰੈਡਿਟ "ਅਸਲ ਵਿੱਚ SGLang ਅਤੇ TensorRT-LLM ਤੋਂ ਵਾਧੂ ਪ੍ਰੇਰਨਾ ਨਾਲ, ਮੁੱਖ ਤੌਰ 'ਤੇ vLLM 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ।"

ਇਸ ਰੀਲੀਜ਼ ਵਿੱਚ ਕੇਵੀ ਕੈਸ਼ ਸਿਸਟਮ, ਪ੍ਰੀਫਿਲ/ਡੀਕੋਡ ਡਿਸਗਰੀਗੇਸ਼ਨ ਅਤੇ ਕਰਾਸ-ਰਿਪਲੀਕਾ ਲੋਡ ਬੈਲੇਂਸਿੰਗ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ; ਬੈਂਚਮਾਰਕ ਨੂੰ 4 SM100 GPU (ਪ੍ਰੀਫਿਲ) ਅਤੇ 64 (ਡੀਕੋਡ) 'ਤੇ ਮਾਪਿਆ ਗਿਆ ਸੀ। ਡੀਪਸੀਕ ਓਪਨ-ਸੋਰਸਡ ਡੀਪਸੀਕ-ਰੈਸਿਪੀ, ਟੋਕਨਾਈਜ਼ਰ/ਏਨਕੋਡਿੰਗ ਕੰਪੋਨੈਂਟ ਜੋ ਇਸਦੇ ਅਧਿਕਾਰਤ API ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ।

ਸੰਦਰਭ: ਮੀਡੀਆ ਨੇ ਰਿਪੋਰਟ ਦਿੱਤੀ ਕਿ ਡੀਪਸੀਕ ਨੇ ਅਪ੍ਰੈਲ 2025 ਵਿੱਚ ਕਿਹਾ ਸੀ ਕਿ ਉਸਨੇ ਆਪਣੇ ਪੂਰੇ ਅਨੁਮਾਨ ਇੰਜਣ ਨੂੰ ਓਪਨ-ਸੋਰਸ ਕਰਨ ਦੀ ਯੋਜਨਾ ਨਹੀਂ ਬਣਾਈ, ਜਿਸ ਨਾਲ ਇਹ ਇੱਕ ਉਲਟ ਹੈ; ਇਹ ਘੋਸ਼ਣਾ ਇੱਕ ਦਿਨ ਬਾਅਦ ਆਈ ਹੈ ਜਦੋਂ ਯੂਐਸ ਫੈਡਰਲ ਸਰਕਾਰ ਨੇ ਸੰਘੀ ਏਜੰਸੀਆਂ ਨੂੰ ਡੀਪਸੀਕ 'ਤੇ ਪਾਬੰਦੀ ਲਗਾਉਣ ਦੇ ਆਦੇਸ਼ ਦਿੱਤੇ ਸਨ। ਡੀਪਸੀਕ ਦਾਅਵਾ ਕਰਦਾ ਹੈ ਕਿ ਇੱਕ ਸਿੰਗਲ V4.1-ਫਲੈਸ਼ ਕਲੱਸਟਰ ਪ੍ਰਤੀ ਦਿਨ 155 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ (ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਪ੍ਰਮਾਣਿਤ ਨਹੀਂ)।

💬 Comments

No comments yet. Be the first!