N環球 N GLOBE
Technologie française

OVHcloud dévoile Olala mini, son premier modèle ouvert : 7 milliards de paramètres, 1 milliard actif par jeton

· N GLOBE

Le fournisseur français de cloud OVHcloud a annoncé le 17 novembre Olala, sa première famille de grands modèles de langage. Le premier modèle, Olala mini 7A1B, n'active qu'environ 1 milliard de ses 7 milliards de paramètres par jeton et peut fonctionner sur un GPU de 8 Go.

Le fournisseur français de cloud OVHcloud a annoncé le 17 novembre à Roubaix le lancement d'Olala, sa première famille de grands modèles de langage développée en interne. Le premier modèle, Olala mini 7A1B, repose sur une architecture de 7 milliards de paramètres mais n'en active qu'environ 1 milliard par requête ; l'entreprise affirme qu'il peut fonctionner sur une carte graphique de seulement 8 Go de mémoire, voire sur un processeur classique. Le modèle sera publié en open source sur Hugging Face sous licence Apache 2.0, et son lancement officiel aura lieu lors de l'OVHcloud AI Summit, le 19 novembre.

Une architecture à experts, 256 experts par couche

Olala mini utilise une architecture de mélange d'experts (MoE) avec 256 experts par couche, dont seule une partie est activée à chaque fois, ce qui maintient le nombre de paramètres actifs autour d'un milliard. Son mécanisme d'attention combine Differential-TPA et Mamba-3, en format BF16. La fenêtre de contexte est de 32 000 jetons ; OVHcloud annonce que la version 1.1, attendue d'ici la fin de l'année, l'étendra à 128 000 jetons et améliorera le raisonnement mathématique. L'entreprise annonce 160 jetons par seconde sur un GPU RTX A4500 et 50 jetons par seconde sur CPU, des chiffres mesurés par le fournisseur.

Entraîné sur trois supercalculateurs européens ; Qwant l'utilise déjà

Le modèle a été entraîné à partir de zéro par le laboratoire d'OVHcloud sur trois supercalculateurs publics européens — Jupiter en Allemagne, MeluXina au Luxembourg et Jean Zay en France — équipés de GPU GH200, A100 et H100. Le moteur de recherche français Qwant utilise déjà Olala mini pour ses réponses éclairs ; OVHcloud affirme qu'il est 20 % plus rapide et coûte trois fois moins cher à exploiter que le modèle précédent. Le fondateur Octave Klaba a indiqué que les développeurs pourront télécharger le modèle et l'exécuter sur leurs propres machines.

Aucun score de référence publié ; détails attendus le 19 novembre

À noter, OVHcloud n'a publié aucun score sur des tests de référence publics pour Olala mini, ce qui ne permet pas encore de le comparer aux modèles ouverts de taille similaire — une lacune relevée par le média technologique français Numerama. Le communiqué ne donne pas non plus l'adresse du dépôt Hugging Face, et au 17 novembre le modèle n'apparaissait pas sur le profil OVHaiLLM d'OVHcloud. Le paquet open source comprendra les poids du modèle, le modèle de base pré-entraîné, un rapport technique et la documentation de conformité au règlement européen sur l'IA, dont les détails seront dévoilés le 19 novembre. (Sources : communiqué d'OVHcloud ; AFP ; Unite.AI ; Numerama)

(Illustration : centre de données d'IA. Image : 618Media.)

💬 Commentaires

Aucun commentaire. Soyez le premier !