Kailangan ng 59 Wafers Upang Maghawak ng 3-Trillion-Parameter Model: Ipinakita ng Cerebras ang Kimi K3 Math Nito

Ang mas malalaking modelo ay nangangahulugan ng mas malaking singil sa hardware. Sa isang teknikal na post na may petsang Oktubre 22, inayos ng AI chipmaker na si Cerebras kung ano ang kakailanganin para magkasya ang humigit-kumulang 3-trillion-parameter na Kimi K3 ng Moonshot AI sa mga wafer-scale chip nito at aktwal na nagsisilbi sa mga user nito: 59 wafer sa kabuuan. Iyon ay hindi isang detalye ng makina, ngunit isang buong layout ng hardware.

Kung saan nagmula ang numerong 59

Magsimula sa pag-iimbak ng modelo: Ipinagpapalagay ng Cerebras ang bawat parameter na nakaimbak sa 4 na bits, kaya 3 trilyong parameter ng mga timbang lamang ang umabot sa humigit-kumulang 1.5 terabytes; na may 44 GB ng on-chip memory bawat wafer, ang mga timbang lamang ay nangangailangan ng hindi bababa sa humigit-kumulang 35 na mga wafer bago ang anumang silid para sa mga kahilingan ng user. Ang Kimi K3 ay may 93 layer: 69 linear-attention layer at 24 dense-attention layer. Ang mga layer ng siksik na atensyon ay nag-iimbak ng isang KV cache na lumalaki sa haba ng kahilingan, kaya binibigyan ng Cerebras ang bawat isa ng sarili nitong wafer; ang mga linear-attention layer ay dalawa sa bawat wafer sa 35 wafers; ang dalawa ay nagdaragdag ng hanggang 59. Ipinagpapalagay din ng kalkulasyon ang isang 8-bit na KV cache at isang average na kahilingan ng 256,000 token, at ang kumpanya ay nag-a-advertise ng mga bilis ng output na 1,000 hanggang 2,000-plus na mga token bawat segundo para sa mga multi-trillion-parameter na modelo.

Ang mahalagang caveat: hindi pa ito nasusukat na resulta

Ang linya ay dapat na iguhit nang malinaw: Hindi natukoy ng Cerebras kung ang layout ng Kimi K3 ay aktwal na pinatakbo, at nag-publish ng walang ganap na benchmark na mga kondisyon, nasusukat na konsumo ng kuryente, o malinaw na bilang ng mga sabay-sabay na user na sinusuportahan ng layout; ang 1,000-to-2,000-plus token per second figure ay ang na-advertise na bilis ng kumpanya para sa klase ng modelong ito, hindi isang nasusukat na resulta para sa layout na ito. Ang kumpanya mismo ay umamin na ang laki ng batch at concurrency lamang ay hindi nagtatatag ng kahusayan ng hinuha, at ang tunay na sukatan ay dapat na mga token bawat yunit ng kapangyarihan sa parehong bilis ng output. Tandaan din na ang Cerebras ay ni-round ang Kimi K3 sa humigit-kumulang 3 trilyong parameter, habang ang dokumentasyon ng modelo ng Alibaba Cloud ay naglilista ng 2.8 trilyon na may one-million-token context window — isang capability ceiling, hindi katulad ng average na haba ng kahilingan na ipinapalagay sa kalkulasyon.

Ang precedent para sa pamamaraan ay ang naunang multi-system pipeline ng Cerebras para sa GPT-5.6 Sol, na ina-advertise sa hanggang 750 token bawat segundo; iyon ay isang precedent para sa pamamaraan, hindi isang report card para sa Kimi K3. Para tumayo ang 59-wafer claim, ang susunod na maihahatid ay dapat na isang sukat sa ilalim ng parehong mga pagpapalagay: modelo at katumpakan, mga haba ng kahilingan at pagkarga, bilang ng hardware, at bilis at kapangyarihan nang magkasama.