São necessários 59 wafers para manter um modelo de 3 trilhões de parâmetros: Cerebras mostra sua matemática Kimi K3

Modelos maiores significam contas de hardware maiores. Em uma postagem técnica datada de 22 de outubro, a fabricante de chips de IA Cerebras elaborou o que seria necessário para encaixar o Kimi K3 de aproximadamente 3 trilhões de parâmetros da Moonshot AI em seus chips em escala de wafer e realmente servir os usuários com ele: 59 wafers no total. Essa não é a especificação de uma máquina, mas todo um layout de hardware.

De onde vem o número 59

Comece armazenando o modelo: o Cerebras assume cada parâmetro armazenado em 4 bits, então 3 trilhões de parâmetros de pesos sozinhos chegam a cerca de 1,5 terabytes; com 44 GB de memória no chip por wafer, só os pesos precisam de um mínimo de aproximadamente 35 wafers antes de qualquer espaço para solicitações do usuário. Kimi K3 tem 93 camadas: 69 camadas de atenção linear e 24 camadas de atenção densa. As camadas de atenção densa armazenam um cache KV que cresce com o comprimento da solicitação, de modo que a Cerebras fornece a cada uma delas seu próprio wafer; camadas de atenção linear vão duas por wafer em 35 wafers; os dois somam 59. O cálculo também pressupõe um cache KV de 8 bits e uma solicitação média de 256.000 tokens, e a empresa anuncia velocidades de saída de 1.000 a 2.000 ou mais tokens por segundo para modelos de vários trilhões de parâmetros.

A advertência importante: este ainda não é um resultado medido

A linha deve ser traçada claramente: a Cerebras não estabeleceu se o layout do Kimi K3 foi realmente executado e não publicou condições de benchmark completas, consumo de energia medido ou contagem clara de usuários simultâneos que o layout suporta; o número de mais de 1.000 a 2.000 tokens por segundo é a velocidade anunciada pela empresa para esta classe de modelo, não um resultado medido para este layout. A própria empresa admite que o tamanho do lote e a simultaneidade por si só não estabelecem a eficiência da inferência e que o verdadeiro parâmetro deveria ser tokens por unidade de potência na mesma velocidade de saída. Observe também que a Cerebras arredonda o Kimi K3 para cerca de 3 trilhões de parâmetros, enquanto a documentação do modelo do Alibaba Cloud lista 2,8 trilhões com uma janela de contexto de um milhão de tokens – um limite de capacidade, não a mesma coisa que o comprimento médio da solicitação assumido no cálculo.

O precedente para o método é o pipeline multissistema anterior da Cerebras para GPT-5.6 Sol, anunciado em até 750 tokens por segundo; isso é um precedente para o método, não um boletim escolar para Kimi K3. Para que a reivindicação de 59 wafers seja válida, o próximo resultado deve ser uma medição sob as mesmas premissas: modelo e precisão, comprimento e carga de solicitação, contagem de hardware e velocidade e potência juntas.