OVHcloud de Francia presenta Olala mini, su primer LLM de código abierto: 7 mil millones de parámetros, 1 mil millones activos por token

El proveedor francés de nube OVHcloud anunció el 17 de noviembre Olala, su primera familia de grandes modelos lingüísticos. El primer modelo, Olala mini 7A1B, activa sólo alrededor de mil millones de sus 7 mil millones de parámetros por token y puede ejecutarse en una GPU de 8 GB.
El proveedor francés de nube OVHcloud anunció el 17 de noviembre en Roubaix el lanzamiento de Olala, su primera familia de grandes modelos lingüísticos construidos internamente. El primer modelo, Olala mini 7A1B, utiliza una arquitectura de 7 mil millones de parámetros pero activa sólo alrededor de mil millones de parámetros por solicitud, y la compañía dice que puede funcionar con una tarjeta gráfica con tan solo 8 GB de memoria, o incluso con un procesador estándar. El modelo se lanzará como código abierto en Hugging Face bajo la licencia Apache 2.0, y el lanzamiento oficial está previsto para la Cumbre de IA de OVHcloud el 19 de noviembre.
Diseño mixto de expertos, 256 expertos por capa
Olala mini utiliza una arquitectura de combinación de expertos (MoE) con 256 expertos por capa, activando solo un subconjunto a la vez, por lo que los parámetros activos se mantienen cerca de mil millones. Su mecanismo de atención combina Diferencial-TPA y Mamba-3, calculado en formato BF16. La ventana de contexto es de 32.000 tokens; OVHcloud dice que la versión 1.1, prevista para finales de año, la ampliará a 128.000 tokens y mejorará el razonamiento matemático. La compañía informa velocidades de 160 tokens por segundo en una GPU RTX A4500 y 50 tokens por segundo en una CPU, ambas cifras medidas por los proveedores.
Formado en tres superordenadores europeos; Qwant ya lo usa
El modelo fue entrenado desde cero por el laboratorio OVHcloud en tres superordenadores públicos europeos (Júpiter en Alemania, MeluXina en Luxemburgo y Jean Zay en Francia) equipados con GPU GH200, A100 y H100. El motor de búsqueda francés Qwant ya utiliza Olala mini para su función de respuesta flash; OVHcloud dice que es un 20 por ciento más rápido y su funcionamiento cuesta un tercio más que el modelo anterior. El fundador Octave Klaba dijo que los desarrolladores podrán descargar el modelo y ejecutarlo en sus propias máquinas.
Aún no hay puntuaciones de referencia; Los detalles del código abierto se entregarán el 19 de noviembre.
En particular, OVHcloud no ha publicado ninguna puntuación de referencia pública para Olala mini, por lo que aún no hay forma de juzgarlo con respecto a modelos abiertos de tamaño similar, una brecha señalada por la publicación tecnológica francesa Numerama. El comunicado de prensa tampoco proporciona ninguna dirección del repositorio de Hugging Face y, hasta el 17 de noviembre, el modelo no había aparecido en el perfil OVHaiLLM de OVHcloud. El paquete de lanzamiento incluirá los pesos del modelo, el modelo base previamente entrenado, un informe técnico y documentación de cumplimiento de la Ley de IA de la UE, y los detalles se publicarán en el lanzamiento del 19 de noviembre. (Fuentes: comunicado de prensa de OVHcloud; AFP; Unite.AI; Numerama)
(Ilustración: centro de datos de IA. Imagen: 618Media.)
N環球 
💬 Comments
No comments yet. Be the first!