ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਭ ਤੋਂ ਵਧੀਆ AI ਵੀ SemiAnalysis ਦੇ ਨਵੇਂ GDPx ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਅਸਲ ਨੌਕਰੀਆਂ ਦੇ ਸਿਰਫ਼ 12% ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ

SemiAnalysis ਨੇ 2 ਨਵੰਬਰ ਨੂੰ ਇੱਕ ਨਵਾਂ ਏਜੰਟਿਕ ਬੈਂਚਮਾਰਕ, GDPx ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ, ਸਿਮੂਲੇਟਡ ਵਰਕਪਲੇਸ ਦੇ ਅੰਦਰ 13 ਫਰੰਟੀਅਰ AI ਮਾਡਲਾਂ ਨੂੰ ਰੱਖਿਆ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਅਸਲ ਵਿੱਚ 206 ਪੇਸ਼ੇਵਰ ਕੰਮ ਕਰਨ ਲਈ ਕਿਹਾ - ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਨੇ ਸਿਰਫ 12.0% ਪੂਰਾ ਕੀਤਾ। ਐਂਥਰੋਪਿਕ ਦਾ ਕਲਾਉਡ ਓਪਸ 5.5 12.0% ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਹੈ, ਗੂਗਲ ਦਾ ਜੈਮਿਨੀ 4 ਕਾਰਬਨ 10.9% ਨਾਲ ਦੂਜੇ, ਓਪਨਏਆਈ ਦਾ GPT-6 ਐਸਟਰਾ 9.6% ਨਾਲ ਤੀਜੇ ਅਤੇ ਸਭ ਤੋਂ ਹੇਠਲੇ ਦਰਜੇ ਵਾਲਾ ਮਾਡਲ, Z.ai ਦਾ GLM 5.3, 2.7% ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲਾਂ ਦੇ ਵਿਗੜਦੇ ਜਾਣ ਦੀ ਕਹਾਣੀ ਨਹੀਂ ਹੈ; ਇਹ ਟੈਸਟ ਦੇ ਇਮਾਨਦਾਰ ਹੋਣ ਦੀ ਕਹਾਣੀ ਹੈ: GDPx ਗ੍ਰੇਡ ਦੀਆਂ ਨੌਕਰੀਆਂ, ਇਮਤਿਹਾਨ ਦੇ ਜਵਾਬ ਨਹੀਂ। (ਕਵਰ ਫੋਟੋ ਇੱਕ AI ਡੇਟਾ ਸੈਂਟਰ ਦੀ ਇੱਕ ਫਾਈਲ ਫੋਟੋ ਹੈ।)

ਇਹ ਕੀ ਟੈਸਟ ਕਰਦਾ ਹੈ: 11 ਉੱਚ-ਰਿਟਰਨ ਡੋਮੇਨ, ਅੱਠ ਘੰਟੇ ਪ੍ਰਤੀ ਕੰਮ

GDPx ਚਿੱਪ ਡਿਜ਼ਾਈਨ, ਹਾਰਡਵੇਅਰ ਡਿਜ਼ਾਈਨ, ਸਾਈਬਰ ਸੁਰੱਖਿਆ, ਜੀਵ-ਵਿਗਿਆਨ, ਵਿੱਤ, ਕਾਨੂੰਨੀ, ਕੁਆਂਟ ਵਪਾਰ, ਆਵਰਤੀ ਸਵੈ-ਸੁਧਾਰ, ਸਮੱਗਰੀ ਵਿਗਿਆਨ, ਅਲਾਈਨਮੈਂਟ ਅਤੇ ਸੌਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ - GDP ਦੇ ਹਿੱਸੇ ਦੀ ਬਜਾਏ ਨਿਵੇਸ਼ 'ਤੇ ਆਰਥਿਕ ਵਾਪਸੀ ਲਈ ਚੁਣੇ ਗਏ 11 ਡੋਮੇਨਾਂ ਨੂੰ ਫੈਲਾਉਂਦਾ ਹੈ। ਇਸਦੇ ਵਿੱਤ ਕਾਰਜ ਇੱਕ ਅਸਲੀ ਪ੍ਰਾਈਵੇਟ-ਇਕੁਇਟੀ ਸੌਦੇ ਦਾ ਪੁਨਰਗਠਨ ਕਰਦੇ ਹਨ, ਇੱਕ ਫੰਡ ਲਗਭਗ $880 ਮਿਲੀਅਨ ਅਤੇ ਇੱਕ ਕਮਾਈ ਦੇ ਨਾਲ ਇੱਕ ਸਨੈਕ ਨਿਰਮਾਤਾ ਦੇ ਲਗਭਗ 62% ਨੂੰ ਖਰੀਦਦਾ ਹੈ, ਜੋ ਕਿ ਮਾਡਲ ਦੁਆਰਾ ਕੰਮ ਕਰਨ ਵਾਲੀਆਂ ਕੁਝ 4,000 ਅਗਿਆਤ ਡੀਲ ਫਾਈਲਾਂ ਵਿੱਚ ਫੈਲਿਆ ਹੋਇਆ ਹੈ; ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਕਾਰਜ ਲਾਈਵ ਸੇਵਾਵਾਂ ਦੇ ਵਿਰੁੱਧ ਚਲਦੇ ਹਨ ਜੋ ਅਸਲ ਅਣਪਛਾਤੇ ਕਮਜ਼ੋਰੀਆਂ ਲੈ ਕੇ ਜਾਂਦੇ ਹਨ। ਕਾਰਜਾਂ ਵਿੱਚ ਅੱਠ-ਘੰਟੇ ਦੀ ਡਿਫੌਲਟ ਸੀਮਾ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਮਾਡਲ ਜਿੱਥੇ ਉਪਲਬਧ ਹੁੰਦੇ ਹਨ ਉਹਨਾਂ ਦੇ ਮੂਲ ਟੂਲਿੰਗ ਵਿੱਚ ਚੱਲਦੇ ਹਨ — ਓਪਸ 5.5 ਲਈ ਕਲੌਡ ਕੋਡ, GPT-6 ਐਸਟਰਾ ਲਈ ਕੋਡੈਕਸ, ਜੈਮਿਨੀ 4 ਕਾਰਬਨ ਲਈ ਐਂਟੀਗ੍ਰੈਵਿਟੀ — ਤਿੰਨ ਕੋਸ਼ਿਸ਼ਾਂ ਵਿੱਚ ਪਹਿਲੀ-ਕੋਸ਼ਿਸ਼ ਪਾਸ ਦਰਾਂ ਦੀ ਔਸਤਨ ਸਿਰਲੇਖ ਸਕੋਰ ਦੇ ਨਾਲ ਅਤੇ ਹਰੇਕ ਡੋਮੇਨ ਨੂੰ ਬਰਾਬਰ ਦਾ ਭਾਰ।

ਡੋਮੇਨ ਦੁਆਰਾ ਵੱਖ-ਵੱਖ ਆਗੂ; ਵਿੱਤ ਅਤੇ ਕਾਨੂੰਨੀ ਜ਼ੀਰੋ 'ਤੇ

ਓਪਸ 5.5 ਨੇ ਕੁਆਂਟ ਟਰੇਡਿੰਗ, ਹਾਰਡਵੇਅਰ ਡਿਜ਼ਾਈਨ ਅਤੇ ਚਿੱਪ ਡਿਜ਼ਾਈਨ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਜਿੱਤਿਆ; ਜੈਮਿਨੀ 4 ਕਾਰਬਨ ਦੀ ਅਗਵਾਈ ਵਾਲੀ ਜੀਵ ਵਿਗਿਆਨ ਅਤੇ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ; GPT-6 Astra ਨੇ ਆਵਰਤੀ ਸਵੈ-ਸੁਧਾਰ ਅਤੇ ਸਮੱਗਰੀ ਵਿਗਿਆਨ ਲਿਆ। ਪਰ ਬਾਈਨਰੀ ਗਰੇਡਿੰਗ ਦੇ ਤਹਿਤ - ਇੱਕ ਕਾਰਜ ਦੀ ਗਿਣਤੀ ਕੇਵਲ ਤਾਂ ਹੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੇਕਰ ਅੰਤ ਤੋਂ ਅੰਤ ਤੱਕ ਪੂਰਾ ਹੋ ਜਾਂਦਾ ਹੈ - ਹਰੇਕ ਮਾਡਲ ਨੇ ਵਿੱਤ ਅਤੇ ਕਾਨੂੰਨੀ ਦੋਵਾਂ ਵਿੱਚ ਜ਼ੀਰੋ ਸਕੋਰ ਕੀਤਾ, ਇਸੇ ਕਰਕੇ ਸੈਮੀ-ਵਿਸ਼ਲੇਸ਼ਣ ਉਹਨਾਂ ਡੋਮੇਨਾਂ ਲਈ ਅੰਸ਼ਕ-ਕ੍ਰੈਡਿਟ ਸਕੋਰ ਦੀ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ। ਕੁਆਂਟ ਟਰੇਡਿੰਗ ਵਿੱਚ, 111 ਵਿੱਚੋਂ 70 ਗਰੇਡਡ ਦੌੜਾਂ ਨੇ ਇੱਕ ਸਧਾਰਨ ਸੰਦਰਭ ਰਣਨੀਤੀ ਨੂੰ ਘੱਟ ਕੀਤਾ, ਅਤੇ ਅਲਾਈਨਮੈਂਟ-ਕੇਂਦ੍ਰਿਤ ਕੰਮਾਂ ਵਿੱਚ, 200 ਵਿੱਚੋਂ 196 ਦੌੜਾਂ ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਵਿਵਹਾਰਕ ਨਿਯਮ ਨੂੰ ਤੋੜਿਆ। ਸਮਰੱਥਾ ਦੇ ਤੌਰ 'ਤੇ ਲਾਗਤਾਂ ਵੱਖੋ-ਵੱਖਰੀਆਂ ਹਨ: Opus 5.5 ਦੀ ਔਸਤਨ $51.41 ਪ੍ਰਤੀ ਟਾਸਕ, Gemini 4 ਕਾਰਬਨ ਇਸ ਦਾ ਲਗਭਗ ਇੱਕ ਤਿਹਾਈ $16.29, ਅਤੇ GPT-6 Astra ਲੀਡਰ ਤੋਂ 2.4 ਅੰਕ ਪਿੱਛੇ ਸਕੋਰ ਲਈ $53.99 ਪ੍ਰਤੀ ਟਾਸਕ ਸਭ ਤੋਂ ਮਹਿੰਗਾ ਸੀ।

12% ਨੂੰ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ: ਤਿੰਨ ਚੇਤਾਵਨੀਆਂ

ਪਹਿਲਾਂ, GDPx ਇੱਕ ਅਦਾਇਗੀਸ਼ੁਦਾ ਅਰਧ-ਵਿਸ਼ਲੇਸ਼ਣ ਉਤਪਾਦ ਹੈ ਜਿਸਦਾ ਸਹਿਭਾਗੀ ਦੁਆਰਾ ਨਿਰਮਿਤ ਕਾਰਜਾਂ ਦਾ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਆਡਿਟ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਸ ਲਈ ਪਹਿਲੇ ਦਿਨ ਹਰ ਨੰਬਰ ਪ੍ਰਕਾਸ਼ਕ ਦੀ ਆਪਣੀ ਰਿਪੋਰਟਿੰਗ ਹੈ। ਦੂਜਾ, ਸੈਮੀਐਨਾਲਿਸਿਸ ਖੁਦ ਕਹਿੰਦਾ ਹੈ ਕਿ ਓਪਸ 5.5 ਅਤੇ GPT-6 ਐਸਟਰਾ ਨੂੰ ਸਾਈਬਰ ਸੁਰੱਖਿਆ, ਜੀਵ ਵਿਗਿਆਨ ਅਤੇ ਅਲਾਈਨਮੈਂਟ ਕਾਰਜਾਂ 'ਤੇ ਉਨ੍ਹਾਂ ਦੇ ਸੁਰੱਖਿਆ ਵਰਗੀਕਰਣ ਦੁਆਰਾ ਰੋਕਿਆ ਗਿਆ ਹੈ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਲਈ 12.0% ਅੰਕੜਾ ਰੂੜੀਵਾਦੀ ਹੈ। ਤੀਜਾ, GDPx ਨੂੰ ਸਤੰਬਰ 2025 ਤੋਂ OpenAI ਦੇ GDPval ਦੇ ਉੱਤਰਾਧਿਕਾਰੀ ਦੇ ਤੌਰ 'ਤੇ ਰੱਖਿਆ ਗਿਆ ਹੈ, ਜਿਸਦਾ ਸੈਮੀਐਨਾਲਿਸਿਸ ਦਾ ਤਰਕ ਹੈ ਕਿ ਇਹ ਪ੍ਰੀ-ਏਜੰਟ ਯੁੱਗ ਨਾਲ ਸਬੰਧਤ ਹੈ ਕਿਉਂਕਿ ਇਹ ਮਾਡਲ ਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੇ ਸਾਰੇ ਸੰਦਰਭਾਂ ਨੂੰ ਅੱਗੇ ਦਿੰਦਾ ਹੈ; ਫਰਮ ਹਰ ਤਿੰਨ ਤੋਂ ਛੇ ਮਹੀਨਿਆਂ ਵਿੱਚ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾਉਂਦਾ ਹੈ, ਇਸਲਈ ਅਗਲੀ ਰੀਡਿੰਗ ਦਰਸਾਏਗੀ ਕਿ ਲਾਈਨ ਕਿਸ ਤਰੀਕੇ ਨਾਲ ਚਲਦੀ ਹੈ।