N環球 N GLOBE
فرنسا التكنولوجيا

تكشف OVHcloud الفرنسية عن Olala mini، أول ماجستير إدارة أعمال مفتوح المصدر: 7 مليار معلمة، 1 مليار نشط لكل رمز مميز

· N GLOBE

أعلن مزود السحابة الفرنسي OVHcloud في 17 نوفمبر عن Olala، وهي أول عائلة من نماذج اللغات الكبيرة. النموذج الأول، Olala mini 7A1B، ينشط حوالي مليار فقط من 7 مليارات معلمة لكل رمز ويمكن تشغيله على وحدة معالجة رسومات 8 جيجابايت.

أعلن مزود السحابة الفرنسي OVHcloud في 17 نوفمبر في روبيه عن إطلاق Olala، وهي أول عائلة من نماذج اللغات الكبيرة التي تم بناؤها داخليًا. يستخدم النموذج الأول، Olala mini 7A1B، بنية مكونة من 7 مليارات معلمة ولكنه ينشط فقط حوالي مليار معلمة لكل طلب، وتقول الشركة إنه يمكن تشغيله على بطاقة رسوميات بذاكرة لا تقل عن 8 جيجابايت، أو حتى على معالج قياسي. سيتم إصدار النموذج كمصدر مفتوح على Hugging Face بموجب ترخيص Apache 2.0، مع الإطلاق الرسمي المقرر لقمة OVHcloud AI Summit في 19 نوفمبر.

تصميم مزيج من الخبراء، 256 خبيرًا في كل طبقة

يستخدم Olala mini بنية خليط من الخبراء (MoE) تضم 256 خبيرًا في كل طبقة، مما يؤدي إلى تنشيط مجموعة فرعية فقط في كل مرة، بحيث تظل المعلمات النشطة قريبة من مليار واحد. تجمع آلية الانتباه الخاصة بها بين التفاضلية TPA وMamba-3، المحسوبة بتنسيق BF16. نافذة السياق هي 32000 رمزًا؛ تقول OVHcloud أن الإصدار 1.1، المقرر صدوره بحلول نهاية العام، سيوسع نطاقه إلى 128000 رمزًا ويحسن التفكير الرياضي. أبلغت الشركة عن سرعات تبلغ 160 رمزًا في الثانية على وحدة معالجة الرسوميات RTX A4500 و50 رمزًا في الثانية على وحدة المعالجة المركزية، وكلاهما أرقام تم قياسها بواسطة البائع.

تدرب على ثلاثة أجهزة كمبيوتر أوروبية عملاقة؛ يستخدمه Qwant بالفعل

تم تدريب النموذج من الصفر بواسطة مختبر OVHcloud على ثلاثة أجهزة كمبيوتر عملاقة عامة أوروبية - Jupiter في ألمانيا، وMeluXina في لوكسمبورغ، وJean Zay في فرنسا - المجهزة بوحدات معالجة الرسوميات GH200 وA100 وH100. يستخدم محرك البحث الفرنسي Qwant بالفعل Olala mini لميزة الإجابة السريعة؛ يقول OVHcloud إنه أسرع بنسبة 20 بالمائة ويكلف تشغيله ثلث تكلفة النموذج السابق. وقال المؤسس أوكتاف كلابا إن المطورين سيكونون قادرين على تنزيل النموذج وتشغيله على أجهزتهم الخاصة.

لا توجد نتائج مرجعية حتى الآن؛ تفاصيل مفتوحة المصدر مستحقة في 19 نوفمبر

والجدير بالذكر أن OVHcloud لم تنشر أي نتائج معيارية عامة لـ Olala mini، لذلك لا توجد طريقة حتى الآن للحكم عليها مقابل النماذج المفتوحة ذات الحجم المماثل - وهي فجوة أبلغ عنها منشور التكنولوجيا الفرنسي Numerama. لا يقدم البيان الصحفي أيضًا عنوان مستودع Hugging Face، واعتبارًا من 17 نوفمبر، لم يظهر النموذج في ملف OVHcloud's OVHaiLLM. ستتضمن حزمة الإصدار أوزان النموذج، والنموذج الأساسي المُدرب مسبقًا، وتقريرًا فنيًا ووثائق الامتثال لقانون الاتحاد الأوروبي للذكاء الاصطناعي، مع تفاصيل ستأتي عند الإطلاق في 19 نوفمبر. (المصادر: بيان صحفي لـ OVHcloud؛ وكالة فرانس برس؛ Unite.AI؛ Numerama)

(الرسم التوضيحي: مركز بيانات الذكاء الاصطناعي. الصورة: 618Media.)

💬 Comments

No comments yet. Be the first!