法國 OVHcloud 發表首款自研開源模型 Olala mini:70 億參數、每次只動用 10 億

法國雲端服務商 OVHcloud 11 月 17 日發表首個自研大語言模型家族 Olala,首款模型 Olala mini 7A1B 只有 10 億活躍參數,可在 8GB 顯存的顯示卡上運行,將以 Apache 2.0 授權開源。
法國雲端服務商 OVHcloud 11 月 17 日在魯貝宣布推出首個自研大語言模型家族 Olala,首款模型 Olala mini 7A1B 採用 70 億參數架構,但每次處理只動用其中約 10 億參數,官方稱可在只有 8GB 記憶體的顯示卡、甚至一般處理器上運行。模型將以 Apache 2.0 授權在 Hugging Face 開源,正式發表會定於 11 月 19 日的 OVHcloud AI 峰會。
混合專家架構 每層 256 個專家
Olala mini 採用混合專家(MoE)架構,每層設 256 個專家,每次只啟用其中一部分,令活躍參數量維持在 10 億左右。注意力機制結合 Differential-TPA 與 Mamba-3,以 BF16 格式運算。上下文窗口為 32,000 個 token,OVHcloud 預告年底推出的 1.1 版將擴至 128,000 個 token,並改善數學推理能力。官方公布的速度為 RTX A4500 顯示卡每秒 160 個 token、一般處理器每秒 50 個 token,均為廠方自測數據。
歐洲三台超級電腦訓練 Qwant 已採用
模型由 OVHcloud 實驗室從零訓練,使用德國 Jupiter、盧森堡 MeluXina 與法國 Jean Zay 三台歐洲公共超級電腦,配備 GH200、A100 與 H100 顯示卡。法國搜尋引擎 Qwant 已把 Olala mini 用於快答功能,OVHcloud 稱速度比舊模型快兩成、營運成本只有三分之一。創辦人奧克塔夫·克拉巴(Octave Klaba)表示,開發者可自行下載並在自己的機器上運行。
基準成績未公布 開源細節待 19 日揭曉
值得注意的是,OVHcloud 至今未公布 Olala mini 在公開基準測試的成績,外界暫時無法判斷它與同級開源模型的實力對比;法國科技媒體 Numerama 亦指出這一缺口。新聞稿亦未給出 Hugging Face 儲存庫地址,截至 17 日,OVHcloud 在 Hugging Face 的 OVHaiLLM 帳號仍未上架 Olala。開源套件將包括模型權重、預訓練基礎模型、技術報告與歐盟《人工智能法案》合規文件,詳情留待 11 月 19 日發表會公布。(來源:OVHcloud 新聞稿;法新社;Unite.AI;Numerama)
(資料圖片:人工智能數據中心示意圖。圖片來源:618Media。)
N環球 
💬 留言
暫時還沒有留言,來搶沙發!