METR ਅਪਡੇਟ: ਫਰੰਟੀਅਰ ਏਆਈ ਮਾਡਲ ਹੁਣ ਹਫ਼ਤੇ-ਲੰਬੇ ਕੰਮ ਲਗਭਗ ਅੱਧੇ ਸਮੇਂ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ

ਗੈਰ-ਲਾਭਕਾਰੀ AI ਮੁਲਾਂਕਣਕਾਰ METR ਨੇ 20 ਨਵੰਬਰ ਨੂੰ ਆਪਣਾ ਨਵੀਨਤਮ ਤਿਮਾਹੀ ਮੁਲਾਂਕਣ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ: OpenAI ਦੇ GPT-6 Astra ਅਤੇ Anthropic's Claude Opus 5.5 ਦਾ ਹੁਣ 50% ਸਮਾਂ ਕ੍ਰਮਵਾਰ 40 ਅਤੇ 39 ਘੰਟੇ ਹੈ, ਜੋ ਛੇ ਮਹੀਨੇ ਪਹਿਲਾਂ 16 ਘੰਟੇ ਤੋਂ ਵੱਧ ਹੈ। ਪਰ ਖੋਜ ਨਿਰਣੇ ਦੀ ਲੋੜ ਵਾਲੇ ਖੁੱਲੇ-ਅੰਤ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ, ਮਾਡਲ ਅਜੇ ਵੀ ਮਨੁੱਖਾਂ ਤੋਂ ਬਹੁਤ ਪਿੱਛੇ ਹਨ।
ਗੈਰ-ਲਾਭਕਾਰੀ AI ਮੁਲਾਂਕਣ ਸੰਸਥਾ METR ਨੇ 20 ਨਵੰਬਰ ਨੂੰ ਆਪਣਾ ਨਵੀਨਤਮ ਤਿਮਾਹੀ ਸਮਰੱਥਾ ਮੁਲਾਂਕਣ (ਟਾਈਮ ਹੋਰਾਈਜ਼ਨ 2, ਜਾਂ TH2) ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ। ਇਸਦੀ ਸਿਰਲੇਖ ਖੋਜ: OpenAI ਦੇ GPT-6 Astra ਅਤੇ Anthropic's Claude Opus 5.5 ਵਿੱਚ ਹੁਣ 50% ਸਮਾਂ ਹੈ, ਜਿਸਦਾ ਅਰਥ ਹੈ ਲਗਭਗ 34 ਘੰਟੇ ਦਾ ਕੰਮ - ਕ੍ਰਮਵਾਰ 34 ਘੰਟੇ। ਜੋ ਕਿ ਇੱਕ ਹੁਨਰਮੰਦ ਮਨੁੱਖੀ ਮਾਹਰ ਨੂੰ ਇੱਕ ਪੂਰਾ ਕੰਮਕਾਜੀ ਹਫ਼ਤਾ ਲਵੇਗਾ, ਪ੍ਰਮੁੱਖ ਮਾਡਲਾਂ ਕੋਲ ਹੁਣ ਇਸ ਨੂੰ ਆਪਣੇ ਤੌਰ 'ਤੇ ਪੂਰਾ ਕਰਨ ਦੇ ਲਗਭਗ ਪੰਜਾਹ-ਪੰਜਾਹ ਮੌਕੇ ਹਨ। ਛੇ ਮਹੀਨੇ ਪਹਿਲਾਂ ਇਹ ਅੰਕੜਾ 16 ਘੰਟੇ ਸੀ।
40 ਘੰਟੇ ਦਾ ਕੀ ਮਤਲਬ ਹੈ
METR ਦਾ ਸਮਾਂ ਦੂਰੀ ਇਹ ਨਹੀਂ ਮਾਪਦਾ ਹੈ ਕਿ ਇੱਕ ਮਾਡਲ ਕਿੰਨੀ ਦੇਰ ਤੱਕ ਲਗਾਤਾਰ ਚੱਲ ਸਕਦਾ ਹੈ। ਇਹ ਕੰਮ ਦੀ ਮੁਸ਼ਕਲ ਨੂੰ ਮਾਪਦਾ ਹੈ: ਕੰਮ ਦੀ ਲੰਬਾਈ, ਮਨੁੱਖੀ-ਮਾਹਿਰ ਘੰਟਿਆਂ ਵਿੱਚ, ਜਿਸ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਲਗਭਗ ਅੱਧੇ ਸਮੇਂ ਵਿੱਚ ਸਫਲ ਹੁੰਦਾ ਹੈ। METR ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ 2.08 ਤੋਂ 4.94 ਮਹੀਨਿਆਂ ਦੇ 95% ਭਰੋਸੇ ਦੇ ਅੰਤਰਾਲ ਦੇ ਨਾਲ ਇਹ ਅੰਕੜਾ ਲਗਭਗ ਹਰ 3.6 ਮਹੀਨਿਆਂ ਵਿੱਚ ਦੁੱਗਣਾ ਹੋ ਰਿਹਾ ਹੈ। ਰਿਪੋਰਟ ਵਿੱਚ ਇਹ ਵੀ ਨੋਟ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਉਹਨਾਂ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਕੰਮਾਂ 'ਤੇ, ਮਾਡਲ ਆਮ ਤੌਰ 'ਤੇ ਮਨੁੱਖਾਂ ਨਾਲੋਂ ਕਈ ਗੁਣਾ ਤੇਜ਼ ਹੁੰਦੇ ਹਨ - ਮੈਟ੍ਰਿਕ ਸਮਰੱਥਾ ਦੀ ਸਰਹੱਦ ਨੂੰ ਟਰੈਕ ਕਰਦਾ ਹੈ, ਕੰਮ ਦੇ ਘੰਟੇ ਨਹੀਂ।
ਚੋਟੀ ਦੇ ਮਾਡਲਾਂ ਨੇ ਤਿੰਨ ਮਾਪਦੰਡਾਂ 'ਤੇ ਭਾੜੇ ਦੇ ਮਾਹਰਾਂ ਨੂੰ ਹਰਾਇਆ
ਤਿੰਨ ਆਟੋਮੈਟਿਕ ਸਕੋਰ ਕੀਤੇ ਬੈਂਚਮਾਰਕ ਟਾਸਕਾਂ 'ਤੇ, ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਨੇ ਉਸੇ ਕੰਮ ਲਈ ਨਿਯੁਕਤ ਕੀਤੇ ਗਏ ਹਰੇਕ ਮਾਹਰ ਨੂੰ ਹਰਾਇਆ: ਰਿਵਰਸ ਕੋਨਵੇ, ਸਭ ਤੋਂ ਵਧੀਆ ਭਰਤੀ ਲਈ 0.137 ਦੇ ਮੁਕਾਬਲੇ ਚੋਟੀ ਦੇ ਮਾਡਲ ਲਈ 0.208; ਮਾਇਨਕਰਾਫਟ ਬੋਟ, 0.055 ਦੇ ਵਿਰੁੱਧ 0.175; ਅਤੇ ਇੱਕ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਸਿਖਲਾਈ ਦਿਓ, 0.042 ਦੇ ਮੁਕਾਬਲੇ 0.443। ਭਾੜੇ ਦੇ ਮਾਹਿਰਾਂ ਨੇ ਤਿੰਨਾਂ ਕੰਮਾਂ ਵਿੱਚ ਕੁੱਲ ਕੰਮ ਦੇ 39, 160 ਅਤੇ 45 ਘੰਟੇ ਲੌਗ ਕੀਤੇ। TH2 ਸੂਟ 12 ਟਾਸਕ ਪਰਿਵਾਰਾਂ ਵਿੱਚ 36 ਨਵੇਂ ਲੇਖਕ ਕਾਰਜਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ, TH1.1 ਵਿੱਚ 222 ਪੁਰਾਣੇ ਕਾਰਜਾਂ ਅਤੇ 75 ਮਿਰਰਕੋਡ ਟਾਸਕਾਂ ਦੇ ਨਾਲ, ਸਾਫਟਵੇਅਰ ਇੰਜਨੀਅਰਿੰਗ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਵਿੱਚ ਫੈਲਿਆ ਹੋਇਆ ਹੈ।
ਨਿਰਣਾ ਕਮਜ਼ੋਰ ਸਥਾਨ ਰਹਿੰਦਾ ਹੈ
ਸਪੱਸ਼ਟ ਸਕੋਰਿੰਗ ਸਟੈਂਡਰਡ ਦੇ ਬਿਨਾਂ ਖੁੱਲੇ-ਸੰਮਤੀ ਖੋਜ ਕਾਰਜਾਂ 'ਤੇ, ਮਾਡਲ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਪਛੜ ਜਾਂਦੇ ਹਨ। 'ਮੇਕਿੰਗ METR ਟਾਸਕ' ਟੈਸਟ ਵਿੱਚ, ਕਿਸੇ ਵੀ ਮਾਡਲ ਨੇ ਇੱਕ ਮੁਲਾਂਕਣ ਡਿਜ਼ਾਈਨ ਤਿਆਰ ਨਹੀਂ ਕੀਤਾ ਜਿਸ ਨੂੰ METR ਸਟਾਫ ਨੇ ਤੁਰੰਤ ਵਰਤੋਂ ਯੋਗ ਮੰਨਿਆ; ਇੱਕ ਟੈਸਟ ਸਕੋਰਿੰਗ ਦਾਰਸ਼ਨਿਕ ਦਲੀਲਾਂ ਵਿੱਚ, ਮਾਡਲ ਵੀ ਮਨੁੱਖਾਂ ਤੋਂ ਘੱਟ ਗਏ। AI ਗ੍ਰੇਡਰ ਵੀ ਮਜਬੂਤ ਮਾਡਲਾਂ ਲਈ ਬਹੁਤ ਉਦਾਰ ਪਾਏ ਗਏ ਸਨ: ਇੱਕ ਟੈਸਟ ਵਿੱਚ, Opus 5.5 ਨੇ GPT-6 Astra ਦੇ ਕੰਮ ਨੂੰ ਇੱਕ ਮਨੁੱਖੀ ਰੇਟਰ ਨਾਲੋਂ 1 ਵਿੱਚੋਂ 0.2 ਪੁਆਇੰਟ ਉੱਚਾ ਕੀਤਾ। ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ, ਮਾਡਲ ਹੁਣ ਹੁਨਰਮੰਦ ਮਨੁੱਖਾਂ ਨਾਲ ਮੇਲ ਕਰ ਸਕਦੇ ਹਨ ਜਾਂ ਹਰਾ ਸਕਦੇ ਹਨ ਜਿੱਥੇ ਇੱਕ ਸਹੀ ਜਵਾਬ ਹੈ - ਪਰ ਜਿੱਥੇ ਖੋਜ ਸਵਾਦ ਅਤੇ ਵਿਅਕਤੀਗਤ ਨਿਰਣੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਸਲ ਖੁਦਮੁਖਤਿਆਰੀ ਅਜੇ ਵੀ ਕੁਝ ਦੂਰ ਹੈ।
ਸੰਖਿਆਵਾਂ ਦੇ ਪਿੱਛੇ ਅਨਿਸ਼ਚਿਤਤਾ
METR ਆਪਣੇ ਖੁਦ ਦੇ ਅੰਕੜਿਆਂ ਨੂੰ ਛੂਟ ਦਿੰਦਾ ਹੈ: ਮਨੁੱਖੀ ਕੰਮ ਦੇ ਸਮੇਂ ਦਾ ਸਿਰਫ 9% ਇੱਕ ਅਸਲ ਸਮੇਂ ਦੀ ਬੇਸਲਾਈਨ ਤੋਂ ਆਉਂਦਾ ਹੈ, ਬਾਕੀ ਅਨੁਮਾਨ ਹਨ, ਅਤੇ 40-ਘੰਟੇ ਪੁਆਇੰਟ ਅਨੁਮਾਨ ਦੇ ਆਲੇ ਦੁਆਲੇ 95% ਅੰਤਰਾਲ ਲਗਭਗ 12 ਘੰਟਿਆਂ ਤੋਂ 1,000 ਘੰਟਿਆਂ ਤੱਕ ਚੱਲਦਾ ਹੈ। ਰਿਪੋਰਟ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਹੈ ਕਿ ਏਆਈ ਖੋਜ ਅਤੇ ਵਿਕਾਸ ਵਿੱਚ ਜਲਦੀ ਹੀ ਇੱਕ ਵੱਡੀ ਗਤੀ ਨੂੰ ਰੱਦ ਕਰਨ ਲਈ ਜਨਤਕ ਸਬੂਤ ਬਹੁਤ ਪਤਲੇ ਹਨ, ਅਤੇ ਇਹ ਕਿ ਟੀਮ 'ਕੇਂਦਰੀ ਪ੍ਰਸ਼ਨਾਂ ਬਾਰੇ ਕਾਫ਼ੀ ਅਨਿਸ਼ਚਿਤ ਰਹਿੰਦੀ ਹੈ।' ਐਮਆਈਟੀ ਟੈਕਨਾਲੋਜੀ ਰਿਵਿਊ ਨੇ ਪਹਿਲਾਂ ਚੇਤਾਵਨੀ ਦਿੱਤੀ ਹੈ ਕਿ ਸਮਾਂ-ਹਾਈਜ਼ੋਨ ਚਾਰਟ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਸਾਂਝਾ ਕੀਤਾ ਗਿਆ ਹੈ - ਅਤੇ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਗਲਤ ਵਿਆਖਿਆ ਕੀਤੀ ਗਈ ਹੈ।
ਮੁਲਾਂਕਣ ਨੂੰ ਖੁਦਮੁਖਤਿਆਰੀ ਖੋਜ ਵੱਲ AI ਦੇ ਮਾਰਗ ਦਾ ਨਿਰਣਾ ਕਰਨ ਲਈ ਇੱਕ ਮੁੱਖ ਤਾਲਮੇਲ ਵਜੋਂ ਦੇਖਿਆ ਜਾਂਦਾ ਹੈ। METR ਸਮਰੱਥਾ ਸਰਹੱਦ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦੇ ਹੋਏ, 16 ਨਵੰਬਰ ਨੂੰ ਓਪਨਏਆਈ ਦੁਆਰਾ ਘੋਸ਼ਿਤ ਏਮਬੈਡਡ ਸੁਰੱਖਿਆ ਮੁਲਾਂਕਣਾਂ ਨੂੰ ਵੀ ਚਲਾਉਂਦਾ ਹੈ। ਸਿੱਟਾ ਦੋਵਾਂ ਤਰੀਕਿਆਂ ਨੂੰ ਕੱਟਦਾ ਹੈ: ਪ੍ਰਮਾਣਿਤ ਪ੍ਰੋਗਰਾਮਿੰਗ ਕਾਰਜਾਂ 'ਤੇ ਤਰੱਕੀ ਹੈਰਾਨੀਜਨਕ ਹੈ, ਪਰ ਨਿਰਣਾ - ਸਪੱਸ਼ਟ ਉੱਤਰ ਕੁੰਜੀ ਤੋਂ ਬਿਨਾਂ ਖੋਜ ਕਰਨ ਦੀ ਯੋਗਤਾ - ਨੂੰ ਅਜੇ ਪਾਰ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ।
N環球 
💬 Comments
No comments yet. Be the first!