Tencent প্রকাশ করেছে Hy4 ওপেন ওয়েটস: 770B-প্যারামিটার ফ্ল্যাগশিপ নতুন লাইসেন্স শর্তাবলী সহ

টেনসেন্ট 20 নভেম্বর তার ফ্ল্যাগশিপ মডেল Hy4-এর সম্পূর্ণ ওজন হাগিং ফেস, মডেলস্কোপ এবং গিটকোডে প্রকাশ করেছে, যার মধ্যে নির্দেশ-টিউন করা সংস্করণ, একটি FP8 কোয়ান্টাইজড সংস্করণ এবং একটি সিস্টেম কার্ড সহ প্রাক-প্রশিক্ষিত বেস রয়েছে। অফিসিয়াল ওজন নতুন Tencent Hy লাইসেন্স ব্যবহার করে, যার অধীনে বড় মডেল API প্রদানকারীদের আলাদা লিখিত অনুমোদন প্রয়োজন।
টেনসেন্ট ডাউনলোডের জন্য তার ফ্ল্যাগশিপ বড় মডেল Hy4-এর সম্পূর্ণ ওজন প্রকাশ করেছে, যা Hugging Face, ModelScope এবং GitCode-এ উপলব্ধ। রিলিজটিতে নির্দেশনা-টিউন করা Hy4, FP8-পরিমাণযুক্ত Hy4-FP8 এবং প্রাক-প্রশিক্ষিত বেস মডেল Hy4-বেস সহ মডেলের ক্ষমতা এবং সীমা বর্ণনাকারী একটি সিস্টেম কার্ড রয়েছে। এটি 20 নভেম্বর 03:52 UTC-এ বা 19 নভেম্বর 22:52 EST-এ ঘোষণা করা হয়েছিল৷
770 বিলিয়ন প্যারামিটার, একটি মিলিয়ন-টোকেন উইন্ডো
Hy4 770 বিলিয়ন মোট প্যারামিটার সহ একটি মিক্সচার-অফ-এক্সপার্টস (MoE) আর্কিটেকচার ব্যবহার করে, প্রতি টোকেনে প্রায় 49 বিলিয়ন সক্রিয়, 78টি লেয়ার এবং প্রায় এক মিলিয়ন টোকেনের একটি প্রসঙ্গ উইন্ডো। এটি টেক্সট, ইমেজ এবং ভিডিও বোঝার পাশাপাশি কম্পিউটার ব্যবহার সমর্থন করে এবং Tencent vLLM এবং SGLang-এর জন্য ডিপ্লয়মেন্ট গাইড প্রদান করেছে যাতে ডেভেলপাররা তাদের নিজস্ব হার্ডওয়্যারে এটি চালাতে পারে। 4 নভেম্বর একটি API পরিষেবা হিসাবে আনুষ্ঠানিকভাবে লঞ্চ করা থেকে মডেলটি নিজেই অপরিবর্তিত রয়েছে।
নতুন লাইসেন্স: বড় প্রদানকারীদের আলাদা অনুমোদন প্রয়োজন
উল্লেখযোগ্যভাবে, অফিসিয়াল ওজনের লাইসেন্সটি আগস্টের পূর্বরূপ থেকে আলাদা, যা অ্যাপাচি 2.0 ব্যবহার করেছিল। সম্পূর্ণ রিলিজ নতুন Tencent Hy লাইসেন্স ব্যবহার করে। Apache 2.0 থেকে প্রাপ্ত, এটি বড় মডেল API প্রদানকারীদের জন্য একটি শর্ত যোগ করে: US$50 মিলিয়ন বা 100 মিলিয়নের বেশি মাসিক সক্রিয় ব্যবহারকারীদের বার্ষিক আয়ের সাথে Tencent থেকে পৃথক লিখিত অনুমোদনের প্রয়োজন। কিছু রিপোর্ট এখনও অ্যাপাচি 2.0 হিসাবে প্রকাশকে বর্ণনা করে, যা মডেল কার্ডের সাথে বিরোধপূর্ণ; মডেল কার্ড পরিচালনা করে।
এপিআই থেকে এক মাসে ওজন
Hy4 প্রথম এপিআই হিসাবে 4 নভেম্বর প্রকাশ করা হয়েছিল, টেনসেন্ট প্রতিশ্রুতি দিয়েছিল যে ওজনগুলি অনুসরণ করবে; 18 নভেম্বর 220 বিলিয়ন প্যারামিটার সহ লাইটার Hy4 ফ্ল্যাশটি প্রথমে ওপেন সোর্স করা হয়েছিল। ফ্ল্যাগশিপ ওয়েট এখন খোলা থাকায়, ডেভেলপারদের আর শুধুমাত্র Tencent এর API-এর মাধ্যমে Hy4 ব্যবহার করতে হবে না এবং স্থানীয়ভাবে এটি স্থাপন, সূক্ষ্ম সুর ও অধ্যয়ন করতে পারবে। রিলিজটি ওপেন-ওয়েট ফ্রন্টিয়ার মডেল এবং ক্লোজড API পরিষেবাগুলির মধ্যে তীব্র প্রতিযোগিতা যোগ করে৷
N環球 
💬 Comments
No comments yet. Be the first!