Потрібно 59 пластин, щоб утримувати модель із 3 трильйонами параметрів: Cerebras показує свій Kimi K3 Math

Більші моделі означають більші рахунки за обладнання. У технічній публікації від 22 жовтня виробник чіпів зі штучним інтелектом Cerebras визначив, що потрібно, щоб установити Kimi K3 Moonshot AI із приблизно 3 трильйонними параметрами на його пластинчасті чіпи та фактично обслуговувати їх користувачами: загалом 59 пластин. Це не специфікація однієї машини, а ціле апаратне забезпечення.

Звідки походить число 59

Почніть зі збереження моделі: Cerebras припускає, що кожен параметр зберігається в 4 бітах, тому лише 3 трильйони параметрів ваг складаються приблизно з 1,5 терабайт; з 44 ГБ внутрішньої пам’яті на пластину, лише ваги потребують мінімум приблизно 35 пластин, щоб мати місце для запитів користувачів. Kimi K3 має 93 шари: 69 лінійних шарів уваги та 24 шари щільної уваги. Рівні концентрації уваги зберігають кеш KV, який зростає разом із довжиною запиту, тому Cerebras надає кожному з них власну пластину; шари лінійної уваги йдуть по два на пластину через 35 пластин; обидва сумарно становлять 59. Розрахунок також передбачає 8-бітний кеш KV і середній запит у 256 000 токенів, а компанія рекламує швидкість виведення від 1000 до 2000 токенів за секунду для моделей із кількома трильйонами параметрів.

Важливе застереження: це ще не виміряний результат

Необхідно чітко провести межу: Cerebras не встановив, чи макет Kimi K3 справді був запущений, і не опублікував повних умов тестування, виміряного енергоспоживання чи чіткої кількості одночасних користувачів, яких підтримує макет; цифра від 1000 до 2000 токенів за секунду є рекламованою компанією швидкістю для цього класу моделей, а не виміряним результатом для цього макета. Сама компанія визнає, що сам по собі розмір партії та паралелізм не встановлюють ефективність логічного висновку, і що справжнім критерієм має бути кількість токенів на одиницю потужності за тієї самої швидкості виведення. Зауважте також, що Cerebras округлює Kimi K3 приблизно до 3 трильйонів параметрів, тоді як документація моделі Alibaba Cloud перераховує 2,8 трильйона з вікном контексту в один мільйон токенів — це межа можливостей, а не те саме, що середня довжина запиту, яка передбачається в розрахунку.

Прецедентом цього методу є попередній багатосистемний конвеєр Cerebras для GPT-5.6 Sol, рекламований зі швидкістю до 750 токенів на секунду; це прецедент для методу, а не табель для Kimi K3. Щоб твердження про 59-пластинку виправдалося, наступним результатом має бути вимірювання за тими самими припущеннями: модель і точність, довжина запиту та навантаження, кількість обладнання, швидкість і потужність разом.