Для хранения модели с 3 триллионами параметров требуется 59 пластин: Cerebras демонстрирует свою математику Kimi K3

Более крупные модели означают большие расходы на оборудование. В техническом сообщении от 22 октября производитель ИИ-чипов Cerebras рассчитал, что потребуется, чтобы разместить Kimi K3 компании Moonshot AI с примерно 3 триллионами параметров на своих чипах размером с пластину и фактически обслуживать с их помощью пользователей: всего 59 пластин. Это не спецификация одной машины, а целая аппаратная схема.

Откуда взялось число 59

Начните с хранения модели: Cerebras предполагает, что каждый параметр хранится в 4 битах, поэтому только 3 триллиона параметров весов составляют примерно 1,5 терабайта; с 44 ​​ГБ встроенной памяти на пластину, одни только веса требуют минимум примерно 35 пластин, прежде чем останется место для запросов пользователя. Кими К3 имеет 93 слоя: 69 слоев линейного внимания и 24 слоя плотного внимания. Уровни с плотным вниманием хранят KV-кэш, который увеличивается с длиной запроса, поэтому Cerebras предоставляет каждому свою собственную пластину; слоев линейного внимания — по два на пластину на 35 пластинах; в сумме они составляют 59. В расчете также предполагается 8-битный KV-кэш и средний запрос в 256 000 токенов, а компания заявляет о скорости вывода от 1 000 до 2 000 с лишним токенов в секунду для моделей с несколькими триллионами параметров.

Важное предостережение: это еще не измеренный результат.

Грань должна быть проведена четко: компания Cerebras не установила, действительно ли была запущена раскладка Kimi K3, и не опубликовала полные тестовые условия, измеренное энергопотребление или точное количество одновременных пользователей, поддерживаемых этой раскладкой; цифра от 1000 до 2000+ токенов в секунду — это заявленная компанией скорость для этого класса модели, а не измеренный результат для этой компоновки. Сама компания признает, что размер пакета и параллелизм сами по себе не определяют эффективность вывода, и что реальным критерием должны быть токены на единицу мощности при той же выходной скорости. Также обратите внимание, что Cerebras округляет Kimi K3 примерно до 3 триллионов параметров, в то время как в документации модели Alibaba Cloud указано 2,8 триллиона с контекстным окном в один миллион токенов — это потолок возможностей, а не средняя длина запроса, предполагаемая в расчетах.

Прецедентом метода является более ранний мультисистемный конвейер Cerebras для GPT-5.6 Sol, рекламируемый со скоростью до 750 токенов в секунду; это прецедент для метода, а не табель успеваемости для Кими К3. Чтобы утверждение о 59 пластинах было действительным, следующим результатом должно быть измерение при тех же предположениях: модель и точность, длина запроса и нагрузка, количество оборудования, а также скорость и мощность вместе взятые.