फ्रांस के ओवीएचक्लाउड ने ओलाला मिनी का अनावरण किया, इसका पहला ओपन-सोर्स एलएलएम: 7बी पैरामीटर, 1बी प्रति टोकन सक्रिय

फ्रांसीसी क्लाउड प्रदाता ओवीएचक्लाउड ने 17 नवंबर को बड़े भाषा मॉडलों के अपने पहले परिवार ओलाला की घोषणा की। पहला मॉडल, ओलाला मिनी 7ए1बी, प्रति टोकन अपने 7 बिलियन मापदंडों में से केवल 1 बिलियन को सक्रिय करता है और 8 जीबी जीपीयू पर चल सकता है।
फ्रांसीसी क्लाउड प्रदाता ओवीएचक्लाउड ने 17 नवंबर को रूबैक्स में ओलाला के लॉन्च की घोषणा की, जो इन-हाउस निर्मित बड़े भाषा मॉडल का पहला परिवार है। पहला मॉडल, ओलाला मिनी 7ए1बी, 7-बिलियन-पैरामीटर आर्किटेक्चर का उपयोग करता है, लेकिन प्रति अनुरोध केवल 1 बिलियन पैरामीटर को सक्रिय करता है, और कंपनी का कहना है कि यह 8 जीबी मेमोरी वाले ग्राफिक्स कार्ड या मानक प्रोसेसर पर भी चल सकता है। मॉडल को अपाचे 2.0 लाइसेंस के तहत हगिंग फेस पर ओपन सोर्स के रूप में जारी किया जाएगा, 19 नवंबर को ओवीएचक्लाउड एआई शिखर सम्मेलन के लिए आधिकारिक लॉन्च सेट के साथ।
विशेषज्ञों का मिश्रण डिज़ाइन, प्रति परत 256 विशेषज्ञ
ओलाला मिनी प्रति परत 256 विशेषज्ञों के साथ मिश्रण-विशेषज्ञों (एमओई) वास्तुकला का उपयोग करता है, एक समय में केवल एक सबसेट को सक्रिय करता है ताकि सक्रिय पैरामीटर 1 बिलियन के करीब रहें। इसका ध्यान तंत्र डिफरेंशियल-टीपीए और माम्बा-3 को जोड़ता है, जिसकी गणना बीएफ16 प्रारूप में की जाती है। संदर्भ विंडो 32,000 टोकन है; OVHcloud का कहना है कि वर्ष के अंत तक संस्करण 1.1, इसे 128,000 टोकन तक बढ़ा देगा और गणितीय तर्क में सुधार करेगा। कंपनी RTX A4500 GPU पर 160 टोकन प्रति सेकंड और CPU पर 50 टोकन प्रति सेकंड की गति की रिपोर्ट करती है, दोनों विक्रेता-मापे गए आंकड़े हैं।
तीन यूरोपीय सुपर कंप्यूटरों पर प्रशिक्षित; क्वांट पहले से ही इसका उपयोग करता है
मॉडल को OVHक्लाउड लैब द्वारा तीन यूरोपीय सार्वजनिक सुपर कंप्यूटरों - जर्मनी में जुपिटर, लक्ज़मबर्ग में मेलुक्सिना और फ्रांस में जीन ज़े - पर GH200, A100 और H100 GPU से सुसज्जित करके प्रशिक्षित किया गया था। फ्रांसीसी खोज इंजन क्वांट पहले से ही अपनी फ्लैश-उत्तर सुविधा के लिए ओलाला मिनी का उपयोग करता है; OVHcloud का कहना है कि यह 20 प्रतिशत तेज़ है और इसे चलाने में पिछले मॉडल की तुलना में एक तिहाई अधिक लागत आती है। संस्थापक ऑक्टेव क्लाबा ने कहा कि डेवलपर्स मॉडल को डाउनलोड करने और इसे अपनी मशीनों पर चलाने में सक्षम होंगे।
अभी तक कोई बेंचमार्क स्कोर नहीं; ओपन-सोर्स विवरण 19 नवंबर को देय है
विशेष रूप से, OVHcloud ने ओलाला मिनी के लिए कोई सार्वजनिक बेंचमार्क स्कोर प्रकाशित नहीं किया है, इसलिए अभी तक इसे समान आकार के खुले मॉडल के खिलाफ आंकने का कोई तरीका नहीं है - फ्रांसीसी तकनीकी प्रकाशन न्यूमेरामा द्वारा चिह्नित अंतर। प्रेस विज्ञप्ति में कोई हगिंग फेस रिपॉजिटरी पता भी नहीं दिया गया है, और 17 नवंबर तक मॉडल OVHcloud के OVHaiLLM प्रोफ़ाइल पर दिखाई नहीं दिया था। रिलीज़ पैकेज में मॉडल वजन, पूर्व-प्रशिक्षित आधार मॉडल, एक तकनीकी रिपोर्ट और ईयू एआई अधिनियम अनुपालन दस्तावेज शामिल होंगे, जिसका विवरण 19 नवंबर के लॉन्च पर आएगा। (स्रोत: ओवीएचक्लाउड प्रेस विज्ञप्ति; एएफपी; यूनाइट.एआई; नुमेरामा)
(चित्रण: एआई डेटा सेंटर। छवि: 618मीडिया।)
N環球 
💬 Comments
No comments yet. Be the first!