ਕੋਰੀਆ ਦੇ ਡੀਪਐਕਸ ਨੇ 5 ਵਾਟਸ 'ਤੇ ਸੈਮਸੰਗ ਦੀ LPDDR5x PIM ਤਕਨੀਕ ਦੇ ਨਾਲ ਦੂਜੀ-ਜਨਰੇਸ਼ਨ DX-M2 AI ਚਿੱਪ ਨੂੰ ਟੇਪ ਕੀਤਾ

ਦੱਖਣੀ ਕੋਰੀਆਈ ਕਿਨਾਰੇ AI ਚਿੱਪ ਸਟਾਰਟਅੱਪ DeepX ਨੇ ਸੈਮਸੰਗ ਮੈਮੋਰੀ ਦੀ LPDDR5x ਪ੍ਰੋਸੈਸਰ-ਇਨ-ਮੈਮੋਰੀ (PIM) ਤਕਨਾਲੋਜੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਆਪਣੀ ਦੂਜੀ ਪੀੜ੍ਹੀ ਦੇ AI ਐਕਸਲੇਟਰ, DX-M2 ਨੂੰ ਟੈਪ ਕੀਤਾ ਹੈ, ਜਿਸਦਾ ਉਦੇਸ਼ ਰੋਬੋਟ, ਡਰੋਨ ਅਤੇ ਹੋਰ ਕਿਨਾਰੇ ਵਾਲੇ ਡਿਵਾਈਸਾਂ ਨੂੰ ਸਿਰਫ਼ 5 ਵਾਟ 'ਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਦੇਣਾ ਹੈ। EE ਟਾਈਮਜ਼ ਨੇ 9 ਨਵੰਬਰ ਨੂੰ ਰਿਪੋਰਟ ਦਿੱਤੀ ਕਿ DX-M2 ਨੂੰ 20 ਬਿਲੀਅਨ ਤੋਂ 100 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ - ਲਗਭਗ 3 ਬਿਲੀਅਨ ਤੋਂ 20 ਬਿਲੀਅਨ ਐਕਟਿਵ ਪੈਰਾਮੀਟਰ - 10 ਤੋਂ 30 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ 'ਤੇ ਚਲਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਤਿੰਨ ਗੁਣਾ; ਸਿਮੂਲੇਸ਼ਨ ਇੱਕ 6.7x ਸਪੀਡਅਪ ਪ੍ਰੋਜੈਕਟ ਕਰਦਾ ਹੈ

ਪਹਿਲੀ ਪੀੜ੍ਹੀ ਦੇ DX-M1 ਦੇ ਮੁਕਾਬਲੇ, DX-M2 ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਨੂੰ 50 GB/s ਤੋਂ 150 GB/s ਤੱਕ ਵਧਾ ਦਿੰਦਾ ਹੈ; ਇਸਦੀ ਨਿਊਰਲ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟ ਨੇ ਡਿਜ਼ਾਈਨ ਸੁਧਾਰਾਂ ਦੁਆਰਾ ਆਪਣੀ ਪਾਵਰ ਕੁਸ਼ਲਤਾ ਨੂੰ ਦੁੱਗਣਾ ਕਰ ਦਿੱਤਾ ਹੈ, ਅਤੇ 2-ਨੈਨੋਮੀਟਰ ਪ੍ਰਕਿਰਿਆ ਨੋਡ 'ਤੇ ਜਾਣ ਨਾਲ ਇਸਨੂੰ ਦੁਬਾਰਾ ਦੁੱਗਣਾ ਹੋ ਗਿਆ ਹੈ, 80 TOPS ਤੱਕ ਪਹੁੰਚ ਗਿਆ ਹੈ। DeepX ਦੇ ਸਿਮੂਲੇਸ਼ਨ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ LPDDR5x-PIM ਮੈਮੋਰੀ ਵਿੱਚ ਜਨਰਲ ਮੈਟ੍ਰਿਕਸ-ਵੈਕਟਰ ਗੁਣਾ (GEMV) ਓਪਰੇਸ਼ਨਾਂ ਨੂੰ ਔਫਲੋਡ ਕਰਨ ਨਾਲ Llama3.1-8B ਮਾਡਲ ਲਈ ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਇੱਕਲੇ DX-M2 ਤੋਂ 6.7 ਗੁਣਾ ਹੋ ਜਾਂਦਾ ਹੈ — ਪਰ ਸੰਸਥਾਪਕ ਅਤੇ ਸੀਈਓ ਲੋਕਵੋਨ ਕਿਮ ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ 6.27 ਗੁਣਾ ਤੋਂ ਵੱਧ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਨਾਲ 6.7 ਗੁਣਾ ਵੱਧ ਦੋ ਗੁਣਾ ਪਾਵਰ ਦੀ ਲੋੜ ਹੈ। ਉਸੇ ਪਾਵਰ ਲਿਫਾਫੇ ਦੇ ਅੰਦਰ ਉਪਲਬਧ ਹੈ। ਕੰਪਨੀ ਨੇ ਸੈਮਸੰਗ ਮੈਮੋਰੀ ਦੇ ਨਾਲ ਟੈਕਨਾਲੋਜੀ 'ਤੇ ਕੰਮ ਕਰਨ ਲਈ ਡੇਢ ਸਾਲ ਬਿਤਾਇਆ ਹੈ ਅਤੇ LPDDR5x PIM ਨਮੂਨੇ ਪ੍ਰਾਪਤ ਕੀਤੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਦੀ ਇਹ ਘਰ-ਘਰ ਜਾਂਚ ਕਰ ਰਹੀ ਹੈ।

ਰੋਬੋਟ, ਏਆਈ ਪੀਸੀ ਅਤੇ ਕਾਰਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਣਾ

DX-M2 ਰੋਬੋਟ, AI PC, ਕਾਰਾਂ ਅਤੇ ਇੰਟਰਨੈਟ-ਆਫ-ਥਿੰਗਸ ਡਿਵਾਈਸਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ। DeepX AI PCs 'ਤੇ ਤਾਈਵਾਨੀ ਨਿਰਮਾਤਾਵਾਂ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, ਜਦੋਂ ਕਿ ਰੋਬੋਟਿਕਸ ਦੇ ਗਾਹਕ ਆਮ ਤੌਰ 'ਤੇ Nvidia ਦੇ Thor ਪਲੇਟਫਾਰਮ 'ਤੇ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ ਅਤੇ ਗਰਮੀ ਅਤੇ ਪਾਵਰ ਸੀਮਾਵਾਂ ਦੇ ਕਾਰਨ ਘੱਟ-ਪਾਵਰ ਵਿਕਲਪਾਂ ਦੀ ਭਾਲ ਕਰਦੇ ਹਨ; ਹੁੰਡਈ ਮੋਟਰ ਗਰੁੱਪ ਦੀ ਰੋਬੋਟਿਕਸ ਲੈਬ ਆਪਣੇ ਰੋਬੋਟਿਕਸ ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ DX-M1 ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ। ਕੰਪਨੀ OpenVINO ਨੂੰ DeepX ਸੌਫਟਵੇਅਰ ਡਿਵੈਲਪਮੈਂਟ ਕਿੱਟ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਲਈ Intel ਨਾਲ ਵੀ ਕੰਮ ਕਰ ਰਹੀ ਹੈ, ਅਤੇ ਇਸਦੇ Kria ਸੰਦਰਭ ਬੋਰਡ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਰੋਬੋਟਿਕਸ ਪਲੇਟਫਾਰਮ 'ਤੇ AMD ਨਾਲ ਗੱਲਬਾਤ ਕਰ ਰਹੀ ਹੈ।

ਮਾਰਚ 2027 ਵਿੱਚ ਨਮੂਨੇ; ਤੀਜੀ ਪੀੜ੍ਹੀ ਦਾ ਉਦੇਸ਼ 2028 ਹੈ

DX-M2 ਦੇ ਇੰਜੀਨੀਅਰਿੰਗ ਨਮੂਨੇ ਮਾਰਚ 2027 ਵਿੱਚ ਆਉਣ ਦੀ ਉਮੀਦ ਹੈ, ਪਤਝੜ 2027 ਲਈ ਵੱਡੇ ਉਤਪਾਦਨ ਦਾ ਟੀਚਾ ਹੈ। ਇੱਕ ਤੀਜੀ ਪੀੜ੍ਹੀ, DX-M3, 2028 ਲਈ 1 ePOPS (INT8) ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਣ ਵਾਲੇ ਚਿਪਲੇਟ-ਅਧਾਰਿਤ ਡਿਜ਼ਾਈਨ ਅਤੇ LPDDR6 PIM ਲਈ ਸਮਰਥਨ ਦੇ ਨਾਲ ਯੋਜਨਾਬੱਧ ਹੈ, ਜਿਸਦਾ ਉਦੇਸ਼ ਕਾਰਮਾਕਰੌਇਡ ਅਤੇ ਮਨੁੱਖੀ ਰੋਬਰੋਡ ਹੈ। ਕਿਮ ਨੇ ਕਿਹਾ ਕਿ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਹੋਣ ਦੇ ਨਾਲ AI ਕੰਪਿਊਟ ਹੋਰ ਵੰਡਿਆ ਜਾਵੇਗਾ, ਅਤੇ ਡਿਵਾਈਸਾਂ 'ਤੇ 100-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਨਾਲ AI ਡਾਟਾ-ਸੈਂਟਰ ਟ੍ਰੈਫਿਕ ਨੂੰ 80 ਪ੍ਰਤੀਸ਼ਤ ਤੋਂ ਵੱਧ ਘਟਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਪਹਿਲੀ ਪੀੜ੍ਹੀ ਦਾ DX-M1 ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਉਤਪਾਦਨ ਵਿੱਚ ਹੈ, ਅਤੇ ਕੰਪਨੀ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਇਸਦੇ ਕੋਲ 100 ਤੋਂ ਵੱਧ ਖਰੀਦ ਆਰਡਰ ਹਨ।