フランスの OVHcloud が初のオープンソース LLM である Olala mini を発表: パラメータ 70 億個、トークンごとに 10 億個のアクティブ

フランスのクラウドプロバイダーOVHcloudは11月17日、同社初の大規模言語モデルファミリーであるOlalaを発表した。最初のモデルである Olala mini 7A1B は、トークンあたり 70 億のパラメーターのうち約 10 億のみをアクティブにし、8GB GPU で実行できます。
フランスのクラウドプロバイダーである OVHcloud は、11 月 17 日にルーベで、社内で構築された最初の大規模言語モデル ファミリである Olala の立ち上げを発表しました。最初のモデルである Olala mini 7A1B は、70 億パラメータのアーキテクチャを使用していますが、リクエストごとに有効にするパラメータは約 10 億のみで、わずか 8GB のメモリを搭載したグラフィックス カード、または標準プロセッサでも実行できると同社は述べています。このモデルは、Apache 2.0 ライセンスに基づいて Hugging Face でオープンソースとしてリリースされ、11 月 19 日の OVHcloud AI サミットに合わせて正式にリリースされる予定です。
専門家の混合設計、各レイヤーに 256 人の専門家
Olala mini は、レイヤーごとに 256 人のエキスパートを備えた混合エキスパート (MoE) アーキテクチャを使用しており、一度にサブセットのみをアクティブ化するため、アクティブなパラメータは 10 億近くに留まります。そのアテンション メカニズムは、BF16 形式で計算された Differential-TPA と Mamba-3 を組み合わせたものです。コンテキスト ウィンドウは 32,000 トークンです。 OVHcloudによると、年末までにリリース予定のバージョン1.1ではトークン数が12万8000個に拡張され、数学的推論が改善されるという。同社は、RTX A4500 GPU で 1 秒あたり 160 トークン、CPU で 1 秒あたり 50 トークンの速度を報告しています。これはどちらもベンダーが測定した数値です。
3 つのヨーロッパのスーパーコンピューターでトレーニングを受けました。 Qwantはすでに使用しています
このモデルは、GH200、A100、H100 GPU を搭載したヨーロッパの公共スーパーコンピューター 3 台 (ドイツの Jupiter、ルクセンブルクの MeluXina、フランスの Jean Zay) で OVHcloud ラボによってゼロからトレーニングされました。フランスの検索エンジン Qwant はすでに、フラッシュ応答機能に Olala mini を使用しています。 OVHcloud によると、以前のモデルに比べて 20% 高速になり、実行コストが 3 分の 1 になっています。創設者のオクターブ・クラバ氏は、開発者がモデルをダウンロードして自分のマシンで実行できるようになると述べた。
ベンチマークスコアはまだありません。オープンソースの詳細は 11 月 19 日公開予定
特に、OVHcloud は Olala mini の公開ベンチマーク スコアを公開していないため、同様のサイズのオープン モデルと比較して判断する方法はまだありません。この差は、フランスの技術出版物 Numerama によって指摘されています。プレスリリースには、Hugging Face リポジトリのアドレスも記載されておらず、11 月 17 日の時点で、このモデルは OVHcloud の OVHaiLLM プロファイルに表示されていませんでした。リリース パッケージには、モデルの重み、事前トレーニングされたベース モデル、技術レポート、EU AI 法準拠の文書が含まれており、詳細は 11 月 19 日の発売時に発表されます。 (出典: OVHcloud プレスリリース、AFP、Unite.AI、Numerama)
(イラスト:AIデータセンター、画像:618Media)
N環球 
💬 Comments
No comments yet. Be the first!