ফ্রান্সের ওভিএইচক্লাউড ওলালা মিনি উন্মোচন করেছে, এটির প্রথম ওপেন-সোর্স LLM: 7B প্যারামিটার, টোকেন প্রতি 1B সক্রিয়

ফরাসি ক্লাউড প্রদানকারী ওভিএইচক্লাউড 17 নভেম্বর ওলালা ঘোষণা করেছে, এটি বৃহৎ ভাষার মডেলের প্রথম পরিবার। প্রথম মডেল, ওলালা মিনি 7A1B, প্রতি টোকেন এর 7 বিলিয়ন প্যারামিটারের মধ্যে মাত্র 1 বিলিয়ন সক্রিয় করে এবং একটি 8GB GPU-তে চলতে পারে।
ফরাসি ক্লাউড প্রদানকারী OVHcloud 17 নভেম্বর Roubaix-এ ওলালা লঞ্চ করার ঘোষণা করেছে, এটি অভ্যন্তরীণভাবে নির্মিত বৃহৎ ভাষার মডেলের প্রথম পরিবার। প্রথম মডেল, ওলালা মিনি 7A1B, একটি 7-বিলিয়ন-প্যারামিটার আর্কিটেকচার ব্যবহার করে কিন্তু প্রতি অনুরোধে মাত্র 1 বিলিয়ন প্যারামিটার সক্রিয় করে এবং কোম্পানি বলে যে এটি একটি গ্রাফিক্স কার্ডে 8 গিগাবাইট মেমরি বা এমনকি একটি স্ট্যান্ডার্ড প্রসেসরেও চলতে পারে। মডেলটি Apache 2.0 লাইসেন্সের অধীনে Hugging Face-এ ওপেন সোর্স হিসাবে প্রকাশ করা হবে, 19 নভেম্বর OVHCloud AI সামিটের জন্য আনুষ্ঠানিক লঞ্চ সেট করা হবে।
বিশেষজ্ঞদের ডিজাইনের মিশ্রণ, প্রতি স্তরে 256 জন বিশেষজ্ঞ
ওলালা মিনি একটি মিক্সচার-অফ-এক্সপার্টস (MoE) আর্কিটেকচার ব্যবহার করে প্রতি স্তরে 256 জন বিশেষজ্ঞের সাথে, একটি সময়ে শুধুমাত্র একটি উপসেট সক্রিয় করে যাতে সক্রিয় প্যারামিটারগুলি 1 বিলিয়নের কাছাকাছি থাকে। এর মনোযোগের প্রক্রিয়াটি ডিফারেনশিয়াল-টিপিএ এবং মাম্বা-3কে একত্রিত করে, যা BF16 ফর্ম্যাটে গণনা করা হয়েছে। প্রসঙ্গ উইন্ডো হল 32,000 টোকেন; OVHCloud বলে যে সংস্করণ 1.1, বছরের শেষ নাগাদ, এটিকে 128,000 টোকেনে প্রসারিত করবে এবং গাণিতিক যুক্তির উন্নতি করবে। কোম্পানি একটি RTX A4500 GPU-তে প্রতি সেকেন্ডে 160 টোকেন এবং CPU-তে প্রতি সেকেন্ডে 50 টোকেন, উভয়ই বিক্রেতা-মাপা পরিসংখ্যানের গতির রিপোর্ট করে৷
তিনটি ইউরোপীয় সুপার কম্পিউটারে প্রশিক্ষিত; কোয়ান্ট ইতিমধ্যে এটি ব্যবহার করে
মডেলটিকে তিনটি ইউরোপীয় পাবলিক সুপারকম্পিউটার - জার্মানির জুপিটার, লাক্সেমবার্গের মেলুজিনা এবং ফ্রান্সের জিন জায় - GH200, A100 এবং H100 GPU-তে সজ্জিত OVHCloud ল্যাব দ্বারা প্রথম থেকেই প্রশিক্ষণ দেওয়া হয়েছিল৷ ফরাসি সার্চ ইঞ্জিন কোয়ান্ট ইতিমধ্যেই তার ফ্ল্যাশ-উত্তর বৈশিষ্ট্যের জন্য ওলালা মিনি ব্যবহার করছে; ওভিএইচক্লাউড বলছে এটি 20 শতাংশ দ্রুত এবং আগের মডেলের মতো চালানোর জন্য এক-তৃতীয়াংশ খরচ হয়। প্রতিষ্ঠাতা অক্টেভ ক্লাবা বলেছিলেন যে বিকাশকারীরা মডেলটি ডাউনলোড করতে এবং তাদের নিজস্ব মেশিনে চালাতে সক্ষম হবে।
এখনও কোন বেঞ্চমার্ক স্কোর নেই; ওপেন-সোর্স বিশদ বিবরণ নভেম্বর 19 তারিখে
উল্লেখযোগ্যভাবে, ওভিএইচক্লাউড ওলালা মিনির জন্য কোনো পাবলিক বেঞ্চমার্ক স্কোর প্রকাশ করেনি, তাই একই আকারের উন্মুক্ত মডেলগুলির বিরুদ্ধে এটিকে বিচার করার কোন উপায় নেই - একটি ফাঁক ফরাসি প্রযুক্তি প্রকাশনা নুমেরমা দ্বারা চিহ্নিত করা হয়েছে। প্রেস রিলিজটি কোন আলিঙ্গন মুখ সংগ্রহস্থলের ঠিকানাও দেয় না এবং 17 নভেম্বর পর্যন্ত মডেলটি OVHCloud এর OVHaiLLM প্রোফাইলে উপস্থিত হয়নি। রিলিজ প্যাকেজে মডেলের ওজন, প্রাক-প্রশিক্ষিত বেস মডেল, একটি প্রযুক্তিগত প্রতিবেদন এবং ইইউ এআই অ্যাক্ট কমপ্লায়েন্স ডকুমেন্টেশন অন্তর্ভুক্ত থাকবে, যার বিবরণ 19 নভেম্বর লঞ্চের সময় আসবে। (সূত্র: OVHCloud প্রেস রিলিজ; AFP; Unite.AI; Numerama)
(চিত্র: এআই ডেটা সেন্টার। ছবি: 618 মিডিয়া।)
N環球 
💬 Comments
No comments yet. Be the first!