N環球 N GLOBE
法国・科技

法国 OVHcloud 发表首款自研开源模型 Olala mini:70 亿参数、每次只动用 10 亿

· N GLOBE

法国云端服务商 OVHcloud 11 月 17 日发表首个自研大语言模型家族 Olala,首款模型 Olala mini 7A1B 只有 10 亿活跃参数,可在 8GB 显存的显示卡上运行,将以 Apache 2.0 授权开源。

法国云端服务商 OVHcloud 11 月 17 日在鲁贝宣布推出首个自研大语言模型家族 Olala,首款模型 Olala mini 7A1B 采用 70 亿参数架构,但每次处理只动用其中约 10 亿参数,官方称可在只有 8GB 记忆体的显示卡、甚至一般处理器上运行。模型将以 Apache 2.0 授权在 Hugging Face 开源,正式发表会定于 11 月 19 日的 OVHcloud AI 峰会。

混合专家架构 每层 256 个专家

Olala mini 采用混合专家(MoE)架构,每层设 256 个专家,每次只启用其中一部分,令活跃参数量维持在 10 亿左右。注意力机制结合 Differential-TPA 与 Mamba-3,以 BF16 格式运算。上下文窗口为 32,000 个 token,OVHcloud 预告年底推出的 1.1 版将扩至 128,000 个 token,并改善数学推理能力。官方公布的速度为 RTX A4500 显示卡每秒 160 个 token、一般处理器每秒 50 个 token,均为厂方自测数据。

欧洲三台超级电脑训练 Qwant 已采用

模型由 OVHcloud 实验室从零训练,使用德国 Jupiter、卢森堡 MeluXina 与法国 Jean Zay 三台欧洲公共超级电脑,配备 GH200、A100 与 H100 显示卡。法国搜寻引擎 Qwant 已把 Olala mini 用于快答功能,OVHcloud 称速度比旧模型快两成、营运成本只有三分之一。创办人奥克塔夫·克拉巴(Octave Klaba)表示,开发者可自行下载并在自己的机器上运行。

基准成绩未公布 开源细节待 19 日揭晓

值得注意的是,OVHcloud 至今未公布 Olala mini 在公开基准测试的成绩,外界暂时无法判断它与同级开源模型的实力对比;法国科技媒体 Numerama 亦指出这一缺口。新闻稿亦未给出 Hugging Face 储存库地址,截至 17 日,OVHcloud 在 Hugging Face 的 OVHaiLLM 帐号仍未上架 Olala。开源套件将包括模型权重、预训练基础模型、技术报告与欧盟《人工智能法案》合规文件,详情留待 11 月 19 日发表会公布。(来源:OVHcloud 新闻稿;法新社;Unite.AI;Numerama)

(资料图片:人工智能数据中心示意图。图片来源:618Media。)

💬 留言

暂时还没有留言,来抢沙发!