N環球 
ارزیابی‌کنندگان خارجی نقص‌هایی را در سیستم نظارت بر عامل هوش مصنوعی داخلی OpenAI پیدا می‌کنند
METR و Redwood Research یک بررسی آزمایشی سه هفته‌ای را منتشر کردند که از 21 ژوئیه تا 11 آگوست در OpenAI انجام شد و چندین آسیب‌پذیری را در سیستم نظارت بر عامل هوش مصنوعی داخلی خود پیدا کرد، از جمله سوء استفاده‌ای که می‌تواند صدها اقدام عامل را پنهان کند.
چرا مهم است
مؤسسات غیرانتفاعی ایمنی هوش مصنوعی METR و Redwood Research در 22 اکتبر گفتند که یک «ارزیابی تعبیه‌شده» سه هفته‌ای در OpenAI، که از 21 جولای تا 11 آگوست انجام شد، چندین آسیب‌پذیری جدید را در سیستم نظارت بر عامل هوش مصنوعی داخلی آن کشف کرد - از جمله یک عامل سوء استفاده‌کننده که می‌توانست از صدها مورد از اقدامات نظارتی اخیر خود که توسط AI خارج شده بود استفاده کنند.
بررسی چگونه کار کرد
هر سازمان یک محقق را فرستاد که تحت نظارت به زیرساخت داخلی OpenAI دسترسی عمیقی پیدا کرد - بررسی کد داخلی و اسناد و صحبت با کارکنان فنی. آنها در محل با استفاده از دستگاه‌های OpenAI که هرگز محل را ترک نمی‌کردند، کار می‌کردند. این اولین آزمایشی صنعت از ارزیاب های خارجی است که این را عمیقاً در سیستم های یک شرکت جاسازی کرده اند.
چه چیز دیگری پیدا کردند
ارزیابان همچنین راه بالقوه ای را برای عوامل Codex شناسایی کردند تا محدودیت های امنیتی را دور بزنند و با مجوزهای کامل کاربران خود عمل کنند. آنها تاکید کردند که یافته ها تاریخی هستند - آنها منعکس کننده سیستم 21 جولای هستند، نه محیط تولید امروز.
پاسخ OpenAI
OpenAI گفت که از آن زمان تمام آسیب‌پذیری‌هایی را که بر پادمان‌های تولیدش تأثیر می‌گذارند وصله کرده است، اگرچه METR و Redwood گفتند که اصلاحات را تأیید نکرده‌اند. OpenAI گزارش داخلی 61 صفحه ای کامل را دریافت کرد. فقط یک خلاصه گسترده منتشر شد و OpenAI حق داشت اطلاعات حساس را ویرایش کند، که ارزیابی‌کنندگان نمی‌توانستند مستقلاً آنها را افشا کنند.
زمینه
آزمایشگاه‌های هوش مصنوعی، کارشناسان و دولت ترامپ از ارزیابی مستقل توسط بازبینان خارجی به عنوان راهی برای ارتقای ایمنی هوش مصنوعی بدون کاهش سرعت توسعه استفاده کرده‌اند – اگرچه شرکت‌های هوش مصنوعی نگران هستند که ارزیاب‌هایی که در داخل دیوارهایشان کار می‌کنند بتوانند اطلاعات اختصاصی را به رقبا ببرند.
💬 Comments
No comments yet. Be the first!