3 兆のパラメータ モデルを保持するには 59 枚のウェーハが必要: 大脳はそのキミを示す K3 数学

モデルが大きくなると、ハードウェアのコストも高くなります。 AI チップメーカー Cerebras は、10 月 22 日付けの技術投稿で、Moonshot AI の約 3 兆パラメータの Kimi K3 を自社のウエハー スケール チップに搭載し、実際にユーザーに提供するために必要なものを検討しました。合計 59 枚のウエハーです。これは 1 台のマシンの仕様ではなく、ハードウェア レイアウト全体です。

59という数字の由来

まずはモデルの保存から始めます。Cerebras では各パラメーターが 4 ビットで保存されると想定しているため、重みの 3 兆個のパラメーターだけで約 1.5 テラバイトになります。ウェーハあたり 44 GB のオンチップ メモリを搭載しているため、ユーザーの要求に対応する余地を得るには、重量だけで少なくとも約 35 枚のウェーハが必要です。 Kim K3 には 93 のレイヤーがあり、69 の線状注意レイヤーと 24 の密集注意レイヤーです。高密度アテンション層には、リクエストの長さに応じて増大する KV キャッシュが保存されるため、Cerebras はそれぞれに独自のウェーハを与えます。リニア アテンション レイヤーは、35 枚のウェハーにわたってウェハーごとに 2 つ配置されます。この計算では、8 ビット KV キャッシュと 256,000 トークンの平均リクエストも想定されており、同社はマルチ 兆パラメーター モデルの出力速度が 1 秒あたり 1,000 ～ 2,000 以上のトークンであると宣伝しています。

重要な注意点: これはまだ測定された結果ではありません

線引きは明確に行う必要があります。Cerebras は、Kimi K3 レイアウトが実際に実行されたかどうかを確立しておらず、完全なベンチマーク条件、消費電力の測定値、レイアウトがサポートする同時ユーザー数の明確な数も公表していません。 1 秒あたり 1,000 から 2,000 以上のトークンという数字は、このクラスのモデルについて同社が宣伝している速度であり、このレイアウトでの測定結果ではありません。同社自身も、バッチサイズと同時実行性だけでは推論効率を確立できないこと、そして実際の基準は同じ出力速度での電力単位あたりのトークンであるべきであることを認めています。また、Cerebras は Kim K3 を約 3 兆のパラメーターに四捨五入しているのに対し、Alibaba Cloud のモデル ドキュメントでは 100 万トークンのコンテキスト ウィンドウで 2.8 兆をリストしています。これは機能の上限であり、計算で想定される平均リクエスト長と同じものではありません。

このメソッドの前例は、Cerebras の初期の GPT-5.6 Sol 用マルチシステム パイプラインであり、1 秒あたり最大 750 トークンでアドバタイズされます。これはこの方法の前例であり、キミ K3 の成績表ではありません。 59 枚のウェーハの主張が成り立つためには、次の成果物は、モデルと精度、要求の長さと負荷、ハードウェア数、および速度と電力の組み合わせなど、同じ仮定の下での測定である必要があります。