ਇਹ ਇੱਕ 3-ਟਰਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਨੂੰ ਰੱਖਣ ਲਈ 59 ਵੇਫਰਾਂ ਦੀ ਲੋੜ ਹੈ: ਸੇਰੇਬ੍ਰਾਸ ਆਪਣਾ ਕਿਮੀ ਕੇ3 ਗਣਿਤ ਦਿਖਾਉਂਦਾ ਹੈ

ਵੱਡੇ ਮਾਡਲਾਂ ਦਾ ਮਤਲਬ ਹੈ ਵੱਡੇ ਹਾਰਡਵੇਅਰ ਬਿੱਲ। 22 ਅਕਤੂਬਰ ਦੀ ਇੱਕ ਤਕਨੀਕੀ ਪੋਸਟ ਵਿੱਚ, AI ਚਿੱਪਮੇਕਰ ਸੇਰੇਬਰਾਸ ਨੇ ਕੰਮ ਕੀਤਾ ਕਿ ਮੂਨਸ਼ੌਟ AI ਦੇ ਲਗਭਗ 3-ਟਰਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਕਿਮੀ K3 ਨੂੰ ਇਸਦੇ ਵੇਫਰ-ਸਕੇਲ ਚਿਪਸ ਵਿੱਚ ਫਿੱਟ ਕਰਨ ਲਈ ਕੀ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਅਸਲ ਵਿੱਚ ਇਸਦੇ ਨਾਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਸੇਵਾ ਦਿੰਦਾ ਹੈ: ਕੁੱਲ 59 ਵੇਫਰ। ਇਹ ਇੱਕ ਮਸ਼ੀਨ ਦਾ ਨਿਰਧਾਰਨ ਨਹੀਂ ਹੈ, ਪਰ ਇੱਕ ਪੂਰਾ ਹਾਰਡਵੇਅਰ ਲੇਆਉਟ ਹੈ।

ਜਿਥੋਂ 59 ਨੰਬਰ ਆਉਂਦਾ ਹੈ

ਮਾਡਲ ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੇ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ: ਸੇਰੇਬ੍ਰਾਸ 4 ਬਿੱਟਾਂ ਵਿੱਚ ਸਟੋਰ ਕੀਤੇ ਹਰੇਕ ਪੈਰਾਮੀਟਰ ਨੂੰ ਮੰਨਦਾ ਹੈ, ਇਸਲਈ 3 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਇਕੱਲੇ ਵਜ਼ਨ ਦੇ ਲਗਭਗ 1.5 ਟੈਰਾਬਾਈਟ ਤੱਕ ਆਉਂਦੇ ਹਨ; ਪ੍ਰਤੀ ਵੇਫਰ 44 GB ਆਨ-ਚਿੱਪ ਮੈਮੋਰੀ ਦੇ ਨਾਲ, ਉਪਭੋਗਤਾ ਬੇਨਤੀਆਂ ਲਈ ਕਿਸੇ ਵੀ ਕਮਰੇ ਤੋਂ ਪਹਿਲਾਂ ਇਕੱਲੇ ਵਜ਼ਨ ਲਈ ਘੱਟੋ-ਘੱਟ 35 ਵੇਫਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। Kimi K3 ਦੀਆਂ 93 ਲੇਅਰਾਂ ਹਨ: 69 ਰੇਖਿਕ-ਧਿਆਨ ਦੇਣ ਵਾਲੀਆਂ ਪਰਤਾਂ ਅਤੇ 24 ਸੰਘਣੀ-ਧਿਆਨ ਦੇਣ ਵਾਲੀਆਂ ਪਰਤਾਂ। ਸੰਘਣੀ-ਧਿਆਨ ਦੇਣ ਵਾਲੀਆਂ ਪਰਤਾਂ ਇੱਕ ਕੇਵੀ ਕੈਸ਼ ਨੂੰ ਸਟੋਰ ਕਰਦੀਆਂ ਹਨ ਜੋ ਬੇਨਤੀ ਦੀ ਲੰਬਾਈ ਦੇ ਨਾਲ ਵਧਦੀ ਹੈ, ਇਸਲਈ ਸੇਰੇਬ੍ਰਾਸ ਹਰ ਇੱਕ ਨੂੰ ਆਪਣਾ ਵੇਫਰ ਦਿੰਦਾ ਹੈ; ਰੇਖਿਕ-ਧਿਆਨ ਦੀਆਂ ਪਰਤਾਂ 35 ਵੇਫਰਾਂ ਵਿੱਚ ਦੋ ਪ੍ਰਤੀ ਵੇਫਰ ਹੁੰਦੀਆਂ ਹਨ; ਦੋ 59 ਤੱਕ ਜੋੜਦੇ ਹਨ। ਗਣਨਾ ਇੱਕ 8-ਬਿੱਟ ਕੇਵੀ ਕੈਸ਼ ਅਤੇ ਔਸਤਨ 256,000 ਟੋਕਨਾਂ ਦੀ ਬੇਨਤੀ ਨੂੰ ਵੀ ਮੰਨਦੀ ਹੈ, ਅਤੇ ਕੰਪਨੀ ਮਲਟੀ-ਟਰਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰਤੀ ਸਕਿੰਟ 1,000 ਤੋਂ 2,000-ਪਲੱਸ ਟੋਕਨਾਂ ਦੀ ਆਉਟਪੁੱਟ ਸਪੀਡ ਦਾ ਇਸ਼ਤਿਹਾਰ ਦਿੰਦੀ ਹੈ।

ਮਹੱਤਵਪੂਰਨ ਚੇਤਾਵਨੀ: ਇਹ ਅਜੇ ਤੱਕ ਮਾਪਿਆ ਨਤੀਜਾ ਨਹੀਂ ਹੈ

ਲਾਈਨ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਖਿੱਚੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ: ਸੇਰੇਬ੍ਰਾਸ ਨੇ ਇਹ ਸਥਾਪਿਤ ਨਹੀਂ ਕੀਤਾ ਹੈ ਕਿ ਕੀ ਕਿਮੀ ਕੇ 3 ਲੇਆਉਟ ਅਸਲ ਵਿੱਚ ਚਲਾਇਆ ਗਿਆ ਸੀ, ਅਤੇ ਕੋਈ ਪੂਰੀ ਬੈਂਚਮਾਰਕ ਸ਼ਰਤਾਂ, ਮਾਪੀ ਗਈ ਬਿਜਲੀ ਦੀ ਖਪਤ, ਜਾਂ ਸਮਕਾਲੀ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਸਪਸ਼ਟ ਗਿਣਤੀ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕੀਤੀ ਹੈ ਜੋ ਲੇਆਉਟ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ; 1,000-ਤੋਂ-2,000-ਪਲੱਸ ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਅੰਕੜਾ ਇਸ ਸ਼੍ਰੇਣੀ ਦੇ ਮਾਡਲ ਲਈ ਕੰਪਨੀ ਦੀ ਇਸ਼ਤਿਹਾਰੀ ਗਤੀ ਹੈ, ਨਾ ਕਿ ਇਸ ਖਾਕੇ ਲਈ ਮਾਪਿਆ ਨਤੀਜਾ। ਕੰਪਨੀ ਖੁਦ ਮੰਨਦੀ ਹੈ ਕਿ ਬੈਚ ਦਾ ਆਕਾਰ ਅਤੇ ਇਕਸਾਰਤਾ ਇਕੱਲੇ ਅਨੁਮਾਨ ਕੁਸ਼ਲਤਾ ਨੂੰ ਸਥਾਪਿਤ ਨਹੀਂ ਕਰਦੇ ਹਨ, ਅਤੇ ਇਹ ਕਿ ਅਸਲ ਮਾਪਦੰਡ ਉਸੇ ਆਉਟਪੁੱਟ ਗਤੀ 'ਤੇ ਪ੍ਰਤੀ ਯੂਨਿਟ ਪਾਵਰ ਟੋਕਨ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਵੀ ਨੋਟ ਕਰੋ ਕਿ ਸੇਰੇਬ੍ਰਾਸ ਕਿਮੀ K3 ਨੂੰ ਲਗਭਗ 3 ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਤੱਕ ਘੇਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਅਲੀਬਾਬਾ ਕਲਾਊਡ ਦੇ ਮਾਡਲ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਇੱਕ ਮਿਲੀਅਨ-ਟੋਕਨ ਸੰਦਰਭ ਵਿੰਡੋ ਦੇ ਨਾਲ 2.8 ਟ੍ਰਿਲੀਅਨ ਦੀ ਸੂਚੀ ਹੈ - ਇੱਕ ਸਮਰੱਥਾ ਦੀ ਛੱਤ, ਗਣਨਾ ਵਿੱਚ ਮੰਨੀ ਗਈ ਔਸਤ ਬੇਨਤੀ ਦੀ ਲੰਬਾਈ ਦੇ ਸਮਾਨ ਨਹੀਂ ਹੈ।

ਵਿਧੀ ਦੀ ਉਦਾਹਰਨ GPT-5.6 ਸੋਲ ਲਈ ਸੇਰੇਬ੍ਰਾਸ ਦੀ ਪਹਿਲਾਂ ਦੀ ਮਲਟੀ-ਸਿਸਟਮ ਪਾਈਪਲਾਈਨ ਹੈ, ਪ੍ਰਤੀ ਸਕਿੰਟ 750 ਟੋਕਨਾਂ ਤੱਕ ਇਸ਼ਤਿਹਾਰ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ; ਇਹ ਕਿਮੀ K3 ਲਈ ਇੱਕ ਰਿਪੋਰਟ ਕਾਰਡ ਨਹੀਂ, ਵਿਧੀ ਲਈ ਇੱਕ ਉਦਾਹਰਣ ਹੈ। ਖੜ੍ਹਨ ਲਈ 59-ਵੇਫਰ ਦਾਅਵੇ ਲਈ, ਅਗਲਾ ਡਿਲੀਵਰੀਯੋਗ ਸਮਾਨ ਧਾਰਨਾਵਾਂ ਦੇ ਅਧੀਨ ਇੱਕ ਮਾਪ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ: ਮਾਡਲ ਅਤੇ ਸ਼ੁੱਧਤਾ, ਬੇਨਤੀ ਦੀ ਲੰਬਾਈ ਅਤੇ ਲੋਡ, ਹਾਰਡਵੇਅਰ ਦੀ ਗਿਣਤੀ, ਅਤੇ ਗਤੀ ਅਤੇ ਸ਼ਕਤੀ ਇਕੱਠੇ।