Se necesitan 59 obleas para contener un modelo de 3 billones de parámetros: Cerebras muestra su Kimi K3 Math

Los modelos más grandes implican mayores facturas de hardware. En una publicación técnica fechada el 22 de octubre, el fabricante de chips de IA Cerebras descubrió lo que se necesitaría para adaptar el Kimi K3 de aproximadamente 3 billones de parámetros de Moonshot AI en sus chips de escala de oblea y realmente servir a los usuarios con él: 59 obleas en total. Esa no es la especificación de una máquina, sino un diseño de hardware completo.

De dónde viene el número 59

Comience almacenando el modelo: Cerebras asume que cada parámetro se almacena en 4 bits, por lo que 3 billones de parámetros de pesos por sí solos equivalen a aproximadamente 1,5 terabytes; Con 44 GB de memoria en chip por oblea, los pesos por sí solos necesitan un mínimo de aproximadamente 35 obleas antes de tener espacio para las solicitudes de los usuarios. Kimi K3 tiene 93 capas: 69 capas de atención lineal y 24 capas de atención densa. Las capas de atención densa almacenan una caché KV que crece con la longitud de la solicitud, por lo que Cerebras le da a cada una su propia oblea; las capas de atención lineal van dos por oblea en 35 obleas; los dos suman 59. El cálculo también supone una caché KV de 8 bits y una solicitud promedio de 256.000 tokens, y la compañía anuncia velocidades de salida de 1.000 a más de 2.000 tokens por segundo para modelos de parámetros multimillonarios.

Una advertencia importante: este aún no es un resultado medido

La línea debe trazarse claramente: Cerebras no ha establecido si el diseño Kimi K3 realmente se ejecutó y no ha publicado condiciones de referencia completas, consumo de energía medido ni recuento claro de usuarios simultáneos que admite el diseño; La cifra de más de 1000 a 2000 tokens por segundo es la velocidad anunciada por la compañía para esta clase de modelo, no un resultado medido para este diseño. La propia empresa admite que el tamaño del lote y la concurrencia por sí solos no establecen la eficiencia de la inferencia, y que el criterio real deberían ser tokens por unidad de potencia a la misma velocidad de salida. Tenga en cuenta también que Cerebras redondea Kimi K3 a aproximadamente 3 billones de parámetros, mientras que la documentación del modelo de Alibaba Cloud enumera 2,8 billones con una ventana de contexto de un millón de tokens: un límite de capacidad, que no es lo mismo que la longitud promedio de solicitud asumida en el cálculo.

El precedente de este método es el canal multisistema anterior de Cerebras para GPT-5.6 Sol, anunciado a hasta 750 tokens por segundo; eso es un precedente para el método, no un boletín de calificaciones para Kimi K3. Para que se mantenga la afirmación de las 59 obleas, el próximo resultado debe ser una medición bajo los mismos supuestos: modelo y precisión, longitudes y carga solicitadas, recuento de hardware y velocidad y potencia juntas.