3조 매개변수 모델을 유지하려면 59개의 웨이퍼가 필요합니다. Cerebras는 Kimi K3 수학을 보여줍니다.

모델이 클수록 하드웨어 비용도 커집니다. AI 칩 제조업체인 Cerebras는 10월 22일자 기술 게시물에서 Moonshot AI의 약 3조 매개변수 Kimi K3를 웨이퍼 규모 칩에 장착하고 실제로 사용자에게 총 59개의 웨이퍼를 제공하는 데 필요한 작업을 수행했습니다. 이는 한 기계의 사양이 아니라 전체 하드웨어 레이아웃입니다.

59라는 숫자는 어디에서 왔는가

모델 저장부터 시작합니다. Cerebras는 각 매개변수가 4비트에 저장되어 있다고 가정하므로 3조 개의 가중치 매개변수만 약 1.5테라바이트에 이릅니다. 웨이퍼당 44GB의 온칩 메모리를 사용하면 무게만으로도 사용자 요청을 위한 공간을 확보하기 전에 최소 약 35개의 웨이퍼가 필요합니다. Kimi K3에는 69개의 선형 어텐션 레이어와 24개의 Dense-Attention 레이어 등 93개의 레이어가 있습니다. Dense-Attention 레이어는 요청 길이에 따라 증가하는 KV 캐시를 저장하므로 Cerebras는 각 레이어에 자체 웨이퍼를 제공합니다. 선형 주의 레이어는 35개의 웨이퍼에 걸쳐 웨이퍼당 2개가 됩니다. 둘을 더하면 59가 됩니다. 또한 계산에서는 8비트 KV 캐시와 평균 256,000개 토큰 요청을 가정하고 회사는 수조 매개변수 모델의 경우 초당 1,000~2,000개 이상의 토큰 출력 속도를 광고합니다.

중요한 주의사항: 이는 아직 측정된 결과가 아닙니다.

선은 명확하게 그려져야 합니다. Cerebras는 Kimi K3 레이아웃이 실제로 실행되었는지 여부를 설정하지 않았으며 전체 벤치마크 조건, 측정된 전력 소비 또는 레이아웃이 지원하는 명확한 동시 사용자 수를 발표하지 않았습니다. 초당 1,000~2,000개 이상의 토큰 수치는 이 레이아웃에 대해 측정된 결과가 아니라 이 클래스의 모델에 대해 회사가 광고한 속도입니다. 회사 자체는 배치 크기와 동시성만으로는 추론 효율성을 확립할 수 없으며 실제 척도는 동일한 출력 속도에서 전력 단위당 토큰이어야 한다는 점을 인정합니다. 또한 Cerebras는 Kimi K3를 약 3조 매개변수로 반올림하는 반면 Alibaba Cloud의 모델 문서에는 100만 토큰 컨텍스트 창으로 2조 8천억 매개변수가 나열되어 있습니다. 이는 계산에서 가정된 평균 요청 길이와 동일하지 않은 기능 상한선입니다.

이 방법의 선례는 초당 최대 750개의 토큰으로 광고된 Cerebras의 초기 GPT-5.6 Sol용 다중 시스템 파이프라인입니다. 그것은 키미K3의 성적표가 아닌 방식의 선례다. 59개 웨이퍼 주장이 유효하려면 다음 결과물은 모델과 정밀도, 요청 길이와 로드, 하드웨어 수, 속도와 전력 등 동일한 가정 하에 측정되어야 합니다.