N環球 
এনভিডিয়া এবং হুয়াওয়ে অ্যাসেন্ড চিপসের জন্য ডিপসিক ওপেন সোর্স ডিপইনফার ইনফারেন্স ফ্রেমওয়ার্ক
DeepSeek ওপেন-সোর্স ডিপইনফার রয়েছে, Apache 2.0 এর অধীনে তার বৃহৎ-স্কেল উত্পাদন পরিষেবার পিছনে উচ্চ-পারফরম্যান্স ইনফারেন্স ফ্রেমওয়ার্ক। প্রথম রিলিজটি Nvidia SM100 GPUs এবং Huawei Ascend 950 NPU-তে DeepSeek-V4.1-ফ্ল্যাশ সমর্থন করে।
কেন এটা গুরুত্বপূর্ণ
চাইনিজ এআই ল্যাব ডিপসিক তার অফিসিয়াল এক্স অ্যাকাউন্টে ঘোষণা করেছে (@deepseek_ai, "ওপেন মডেল। ওপেন কার্নেল। ওপেন ইনফারেন্স।" দিয়ে শেষ হওয়া একটি চার-পোস্ট থ্রেড) যে এটি সম্পূর্ণরূপে ওপেন-সোর্সিং ডিপইনফার, এটির বৃহৎ মাপের উৎপাদন পরিষেবার পিছনে অনুমান কাঠামো। কোডটি Apache 2.0 লাইসেন্সের অধীনে github.com/deepseek-ai/DeepInfer-এ GitHub-এ রয়েছে, বাণিজ্যিক স্ব-হোস্টিংয়ের অনুমতি দেয়। সংগ্রহস্থলটি দ্রুত 11,000 টিরও বেশি তারা সংগ্রহ করেছে।
সম্পূর্ণ প্রতিবেদন
ডিপসিক ডিপইনফারকে "উচ্চ-পারফরম্যান্স ইনফারেন্স ফ্রেমওয়ার্ক যা ডিপসিকের বৃহৎ-স্কেল উত্পাদন পরিষেবাগুলিকে শক্তি দেয়" হিসাবে বর্ণনা করে। প্রথম রিলিজটি একটি একক মডেল, DeepSeek-V4.1-Flash, দুটি ধরনের ডেটাসেন্টার হার্ডওয়্যারে সমর্থন করে: Nvidia SM100 GPUs (CUDA 13) এবং Huawei Ascend 950 NPUs (CANN 9.2)।
টেকনিক্যালি এর মধ্যে রয়েছে কাস্টম অপারেটর (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, TileLang অপারেটর), EPLB লোড ব্যালেন্সিংয়ের সাথে MoE বিশেষজ্ঞ সমান্তরালতা, DSpark ফটকামূলক ডিকোডিং (ডিফল্ট ড্রাফ্ট দৈর্ঘ্য 5), অ্যাসিঙ্ক্রোনাস শিডিউলিং, ব্যাচ-ইনভেরিস্টিক এবং শুধুমাত্র স্ট্রাকচার ইনভেনরিস্টিক ডিকোডিং। আউটপুট (regex / JSON স্কিমা / EBNF)। README এটিকে "মূলত ভিএলএলএম-এ SGLang এবং TensorRT-LLM থেকে অতিরিক্ত অনুপ্রেরণা নিয়ে নির্মিত" হিসাবে কৃতিত্ব দেয়৷
এই রিলিজটি KV ক্যাশে সিস্টেম, প্রিফিল/ডিকোড ডিস্যাগ্রিগেশন এবং ক্রস-রেপ্লিকা লোড ব্যালেন্সিং বাদ দেয়; বেঞ্চমার্কগুলি 4 SM100 GPU (প্রিফিল) এবং 64 (ডিকোড) এ পরিমাপ করা হয়েছিল। ডিপসিক ওপেন-সোর্স ডিপসিক-রেসিপি, টোকেনাইজার/এনকোডিং উপাদান যা এর অফিসিয়াল API এর সাথে মিলে যায়।
প্রসঙ্গ: মিডিয়া রিপোর্ট করেছে যে ডিপসিক 2025 সালের এপ্রিলে বলেছিল যে এটি তার সম্পূর্ণ অনুমান ইঞ্জিন ওপেন-সোর্স করার পরিকল্পনা করেনি, এটি একটি বিপরীতমুখী হয়েছে; মার্কিন ফেডারেল সরকার ডিপসিককে নিষিদ্ধ করার জন্য ফেডারেল এজেন্সিগুলিকে নির্দেশ দেওয়ার একদিন পরে এই ঘোষণা আসে। DeepSeek দাবি করে যে একটি একক V4.1-ফ্ল্যাশ ক্লাস্টার প্রতিদিন 155 ট্রিলিয়ন টোকেন পরিবেশন করে (স্বাধীনভাবে যাচাই করা হয়নি)।
💬 Comments
No comments yet. Be the first!