بیرونی تشخیص کاروں نے OpenAI کے اندرونی AI ایجنٹ مانیٹرنگ سسٹم میں خامیاں تلاش کیں۔

METR اور Redwood Research نے OpenAI کے اندر 21 جولائی سے 11 اگست تک تین ہفتے کا پائلٹ جائزہ شائع کیا، جس میں اس کے اندرونی AI ایجنٹ کی نگرانی کے نظام میں کئی کمزوریوں کا پتہ چلا، جس میں ایک ایسا استحصال بھی شامل ہے جو ایجنٹ کی سینکڑوں کارروائیوں کو چھپا سکتا ہے۔
یہ کیوں اہمیت رکھتا ہے۔
AI سیفٹی کے غیر منفعتی اداروں METR اور Redwood Research نے 22 اکتوبر کو کہا کہ OpenAI کے اندر 21 جولائی سے 11 اگست تک کی گئی تین ہفتوں کی "ایمبیڈڈ تشخیص" نے اس کے اندرونی AI ایجنٹ کی نگرانی کے نظام میں کئی نئی کمزوریوں کا انکشاف کیا — بشمول ایک استحصالی ایجنٹ اپنے سینکڑوں حالیہ کارروائیوں کو اوپن اے آئی کے ذریعے نگرانی کے نظام سے باہر رکھنے کے لیے استعمال کر سکتے تھے۔
جائزہ کیسے کام کرتا ہے۔
ہر تنظیم نے ایک محقق کو بھیجا، جنہیں اوپن اے آئی کے اندرونی انفراسٹرکچر تک گہری رسائی دی گئی تھی - وہ اندرونی کوڈ اور دستاویزات کا جائزہ لے رہے تھے اور تکنیکی عملے سے بات کرتے تھے۔ انہوں نے OpenAI کے جاری کردہ آلات کا استعمال کرتے ہوئے سائٹ پر کام کیا جو کبھی بھی احاطے کو نہیں چھوڑتے تھے۔ یہ صنعت کا پہلا بیرونی جائزہ کاروں کا پائلٹ ہے جس نے اسے کمپنی کے سسٹمز کے اندر گہرائی سے سرایت کیا۔
انہیں اور کیا ملا
جانچ کرنے والوں نے کوڈیکس ایجنٹس کے لیے حفاظتی پابندیوں کو نظرانداز کرنے اور اپنے صارفین کی مکمل اجازتوں کے ساتھ کام کرنے کے ایک ممکنہ طریقے کی بھی نشاندہی کی۔ انہوں نے زور دیا کہ نتائج تاریخی ہیں - وہ 21 جولائی کے نظام کی عکاسی کرتے ہیں، آج کے پیداواری ماحول کی نہیں۔
اوپن اے آئی کا جواب
اوپن اے آئی نے کہا کہ اس کے بعد سے اس نے اپنی پیداواری حفاظت پر اثر انداز ہونے والی تمام کمزوریوں کو ختم کر دیا ہے، حالانکہ METR اور Redwood نے کہا کہ انہوں نے اصلاحات کی تصدیق نہیں کی ہے۔ OpenAI کو 61 صفحات کی مکمل اندرونی رپورٹ موصول ہوئی ہے۔ صرف ایک وسیع خلاصہ شائع کیا گیا تھا، اور OpenAI کے پاس حساس معلومات کو تبدیل کرنے کا حق تھا، جس کا جائزہ لینے والے آزادانہ طور پر انکشاف نہیں کر سکتے تھے۔
سیاق و سباق
AI لیبز، ماہرین اور ٹرمپ انتظامیہ نے بیرونی جائزہ لینے والوں کی طرف سے آزادانہ تشخیص کو بغیر ترقی کی رفتار کے بغیر AI کی حفاظت کو آگے بڑھانے کا ایک طریقہ قرار دیا ہے - حالانکہ AI کمپنیوں کو خدشہ ہے کہ ان کی دیواروں کے اندر کام کرنے والے جائزہ کار اپنے حریفوں تک ملکیتی معلومات لے سکتے ہیں۔
N環球 
💬 Comments
No comments yet. Be the first!