N環球 N GLOBE
अमेरिकी प्रौद्योगिकी

बाहरी मूल्यांकनकर्ता ओपनएआई के आंतरिक एआई एजेंट निगरानी प्रणाली में खामियां ढूंढते हैं

· N GLOBE

एमईटीआर और रेडवुड रिसर्च ने 21 जुलाई से 11 अगस्त तक ओपनएआई के अंदर आयोजित तीन सप्ताह की पायलट समीक्षा प्रकाशित की, जिसमें इसके आंतरिक एआई एजेंट निगरानी प्रणाली में कई कमजोरियां पाई गईं, जिसमें एक शोषण भी शामिल है जो सैकड़ों एजेंट कार्यों को छिपा सकता है।

यह क्यों मायने रखता है?

एआई सुरक्षा गैर-लाभकारी संस्थाएं एमईटीआर और रेडवुड रिसर्च ने 22 अक्टूबर को कहा कि 21 जुलाई से 11 अगस्त तक आयोजित ओपनएआई के अंदर तीन सप्ताह के "एम्बेडेड मूल्यांकन" ने इसके आंतरिक एआई एजेंट निगरानी प्रणाली में कई नई कमजोरियों को उजागर किया - जिसमें एक शोषण एजेंट भी शामिल है जिसका उपयोग अपने हाल के सैकड़ों कार्यों को निगरानी प्रणाली से बाहर रखने के लिए किया जा सकता है (ओपनएआई द्वारा संशोधित विवरण)।

समीक्षा कैसे काम करती है

प्रत्येक संगठन ने एक शोधकर्ता को भेजा, जिन्हें पर्यवेक्षण के तहत ओपनएआई के आंतरिक बुनियादी ढांचे तक गहरी पहुंच दी गई - आंतरिक कोड और दस्तावेज़ीकरण की समीक्षा करना और तकनीकी कर्मचारियों के साथ बात करना। उन्होंने ओपनएआई द्वारा जारी उपकरणों का उपयोग करके साइट पर काम किया जो कभी भी परिसर से बाहर नहीं गए। यह बाहरी मूल्यांकनकर्ताओं का उद्योग का पहला पायलट है जो इसे किसी कंपनी के सिस्टम के अंदर गहराई से समाहित करता है।

उन्हें और क्या मिला

मूल्यांकनकर्ताओं ने कोडेक्स एजेंटों के लिए सुरक्षा प्रतिबंधों को दरकिनार करने और अपने उपयोगकर्ताओं की पूर्ण अनुमति के साथ कार्य करने के संभावित तरीके की भी पहचान की। उन्होंने इस बात पर जोर दिया कि निष्कर्ष ऐतिहासिक हैं - वे 21 जुलाई की प्रणाली को दर्शाते हैं, आज के उत्पादन माहौल को नहीं।

OpenAI की प्रतिक्रिया

ओपनएआई ने कहा कि उसने तब से अपने उत्पादन सुरक्षा उपायों को प्रभावित करने वाली सभी कमजोरियों को ठीक कर लिया है, हालांकि एमईटीआर और रेडवुड ने कहा कि उन्होंने सुधारों को सत्यापित नहीं किया है। OpenAI को पूरी 61 पेज की आंतरिक रिपोर्ट प्राप्त हुई; केवल एक व्यापक सारांश प्रकाशित किया गया था, और ओपनएआई के पास संवेदनशील जानकारी को संशोधित करने का अधिकार था, जिसे मूल्यांकनकर्ता स्वतंत्र रूप से प्रकट नहीं कर सकते थे।

प्रसंग

एआई प्रयोगशालाओं, विशेषज्ञों और ट्रम्प प्रशासन ने विकास को धीमा किए बिना एआई सुरक्षा को आगे बढ़ाने के तरीके के रूप में बाहरी समीक्षकों द्वारा स्वतंत्र मूल्यांकन की वकालत की है - हालांकि एआई कंपनियों को चिंता है कि उनकी दीवारों के अंदर काम करने वाले मूल्यांकनकर्ता प्रतिद्वंद्वियों के लिए मालिकाना जानकारी ले सकते हैं।

💬 Comments

No comments yet. Be the first!