Il faut 59 tranches de silicium pour loger un modèle de 3 000 milliards de paramètres : Cerebras détaille son calcul pour Kimi K3

Plus les modèles grossissent, plus la facture matérielle grimpe. Dans un article technique daté du 22 octobre, le fabricant de puces d'IA Cerebras a calculé ce qu'il faudrait pour loger Kimi K3 de Moonshot AI, environ 3 000 milliards de paramètres, sur ses puces à l'échelle de la tranche et le faire réellement servir des utilisateurs : 59 tranches au total. Ce n'est pas la fiche technique d'une machine, mais tout un plan de déploiement matériel.

D'où vient le chiffre 59

D'abord, stocker le modèle : Cerebras suppose chaque paramètre stocké sur 4 bits, donc 3 000 milliards de paramètres représentent à eux seuls environ 1,5 téraoctet de poids ; avec 44 Go de mémoire sur puce par tranche, les seuls poids exigent un minimum d'environ 35 tranches, avant toute place pour les requêtes des utilisateurs. Kimi K3 compte 93 couches : 69 couches d'attention linéaire et 24 couches d'attention dense. Les couches denses stockent un cache KV qui grandit avec la longueur des requêtes, Cerebras attribue donc à chacune sa propre tranche ; les couches linéaires se partagent deux par tranche sur 35 tranches ; le total fait 59. Le calcul suppose aussi un cache KV sur 8 bits et une requête moyenne de 256 000 jetons, et l'entreprise annonce des vitesses de 1 000 à plus de 2 000 jetons par seconde pour les modèles de plusieurs milliers de milliards de paramètres.

La réserve importante : ce n'est pas encore un résultat mesuré

Il faut tracer la ligne clairement : Cerebras n'a pas établi si cette configuration Kimi K3 a réellement fonctionné, et n'a publié ni conditions complètes de test, ni consommation mesurée, ni nombre clair d'utilisateurs simultanés supportés ; les 1 000 à plus de 2 000 jetons par seconde sont la vitesse annoncée par l'entreprise pour cette catégorie de modèles, pas un résultat mesuré pour cette configuration. L'entreprise elle-même admet que la taille des lots et la concurrence ne suffisent pas à prouver l'efficacité de l'inférence, et que le vrai critère devrait être le nombre de jetons par unité d'énergie à vitesse égale. À noter aussi que Cerebras arrondit Kimi K3 à environ 3 000 milliards de paramètres, alors que la documentation d'Alibaba Cloud indique 2 800 milliards avec une fenêtre de contexte d'un million de jetons — un plafond de capacité, pas la même chose que la longueur moyenne de requête supposée dans le calcul.

Le précédent de la méthode est le pipeline multi-systèmes que Cerebras avait décrit pour GPT-5.6 Sol, annoncé jusqu'à 750 jetons par seconde ; c'est un précédent pour la méthode, pas un bulletin pour Kimi K3. Pour que l'affirmation des 59 tranches tienne, le prochain document à fournir devrait être une mesure sous les mêmes hypothèses : modèle et précision, longueurs de requête et charge, nombre de matériels, vitesse et consommation ensemble.