N環球 N GLOBE
فناوری ایالات متحده

OpenAI درها را به روی ارزیاب‌های ایمنی خارجی باز می‌کند، اما محققان می‌گویند دسترسی بسیار دور از انتظار است

· N GLOBE

OpenAI در 16 نوامبر گفت که کارکنان چهار سازمان ایمنی خارجی در شرکت برای ارزیابی مدل‌های آن جاسازی خواهند شد، اما محققان به NPR گفتند که دسترسی پیشنهادی بسیار کمتر از قول مدیر عامل سم آلتمن در سپتامبر در مورد «دسترسی کارمندان» است.

OpenAI در روز دوشنبه، 16 نوامبر، اعلام کرد که کارکنان چهار سازمان تحقیقاتی و ایمنی هوش مصنوعی خارج از این شرکت، برای ارزیابی مدل‌های آن، به «ارزیابی‌کنندگان تعبیه‌شده» تبدیل خواهند شد. اما گزارشی که روز چهارشنبه توسط NPR منتشر شد، گفت که بسیاری از محققان معتقدند دسترسی ارائه شده بسیار کمتر از آنچه مدیر اجرایی سم آلتمن در سپتامبر وعده داده بود، زمانی که او قول داد ارزیاب‌های مستقل «دسترسی کارمندان» به سیستم‌های داخلی شرکت داشته باشند، فاصله دارد.

آلتمن این قول را بعد از اینکه مشخص شد سیستم‌های مستقل OpenAI در طول آزمایش امنیت سایبری به Hugging Face حمله کرده‌اند، داد، قسمتی که حوزه هوش مصنوعی را تکان داد و نگرانی عمومی را در مورد خطر فاجعه‌بار تشدید کرد. Rival Anthropic در آن زمان گفت که برنامه مشابهی را راه اندازی خواهد کرد.

آنچه که چهار ارزیاب بررسی خواهند کرد

طبق گفته OpenAI، تحقیقات آپولو ارزیابی خواهد کرد که آیا مدل‌ها می‌توانند به طور مخفیانه بر خلاف اهداف توسعه‌دهندگان خود عمل کنند و آیا حفاظت‌های موجود چنین رفتاری را تشخیص می‌دهند یا خیر. گزارش شده است که آپولو شش محقق را به مدت چهار ماه می فرستد و چهار ادعا را در دو مرحله آزمایش می کند، از جمله اینکه آیا آموزش براندازی انگیزه دارد و آیا مدل ها در طول استفاده داخلی اقدام به براندازی کرده اند یا خیر. Goodfire محققان تفسیرپذیری را برای تجزیه و تحلیل داخلی مدل، نظارت بر دوره‌های آموزشی و کمک به اشکال‌زدایی و تراز کردن، که عمدتاً به محققان خود OpenAI خدمت می‌کند، تعبیه می‌کند. METR بزرگترین دوره یادگیری تقویتی OpenAI را تا به امروز بررسی خواهد کرد و به دنبال رفتار ناهماهنگی است که آزمایش‌ها و مانیتورهای موجود آن ممکن است از دست داده باشند. Transluce کیفیت و پوشش ارزیابی‌های هم‌ترازی پس از آموزش OpenAI را با ارزیابی بعدی حدود هشت هفته برای اوایل سال 2027 بررسی خواهد کرد.

فاصله بین قول و عمل

محققان می گویند که شرایط واقعی بسیار محدودتر است. سیدنی فون آرکس، بنیانگذار گروه تحقیقاتی ایمنی هوش مصنوعی Nightingale گفت: ارزیابی‌کنندگان دامنه‌های بسیار محدودی برای دسترسی خود دارند و به نظر می‌رسد تنها دو نفر از آنها واقعاً اجازه دارند با کارمندان صحبت کنند. او گفت که هیچ کس به سیستم پیام رسانی داخلی Slack این شرکت دسترسی ندارد و کارمندانی که توسط OpenAI در لیست سفید قرار نگرفته اند نمی توانند با ارزیابان مکالمه اساسی داشته باشند، مگر اینکه OpenAI ابتدا در آن حلقه زده شود. او گفت: «تصور کنید یک کارمند هستید و فقط اجازه دارید در مورد اطلاعات شرکت با همکارانی که در لیست سفید هستند صحبت کنید و Slack ندارید.

تحت پروتکل های منتشر شده OpenAI، بحث با کارمندان غیرقابل ثبت است: آنها می توانند ارزیابی را ارائه دهند، اما نمی توان آنها را منتشر کرد یا نسبت داد. ارزیابان ممکن است از OpenAI بخواهند که بیانیه های تأیید شده ای را صادر کند تا آنچه را که آموخته اند تأیید کند و OpenAI ممکن است رد کند. ارزیابان ممکن است یافته‌های خود را منتشر کنند، اما OpenAI حق ویرایش اطلاعات محرمانه و درخواست تاخیر در افشای اطلاعات را برای خود محفوظ می‌دارد تا بتواند در مورد یافته‌هایی که می‌تواند خطرات امنیتی یا ایمنی ایجاد کند، اقدام کند.

کارکنان ایمنی اخراج شده و آنچه بعدا می آید

این اعلامیه زمانی منتشر شد که OpenAI سه کارمند را که روی ایمنی کار می کردند اخراج کرد. یکی از آنها، تومک کورباک، نقطه تماس فنی دو ارزیاب خارجی بود که حمله صورت در آغوش گرفته را بررسی کردند. این سه بعداً گفتند که می‌ترسند OpenAI از قول خود مبنی بر ارزیابی‌کنندگان تعبیه‌شده عقب‌نشینی کند. کورباک در X نوشت که حسابرسی تعبیه شده «تنها در صورتی اهداف خود را برآورده می‌کند که حسابرسان واقعاً به جای استخدام شدن برای انجام یک کار خاص، واقعاً به سطح کارمند دسترسی داشته باشند» و افزود که پست سپتامبر آلتمن در مورد «دسترسی مشابه کارمندان» «فقط یک وعده بیش از حد ناخوشایند بود که شرکت می‌خواهد بی‌صدا به عقب برگردد».

OpenAI در بیانیه‌ای به NPR گفت در حال حاضر هیچ استانداردی برای ارزیابی‌های تعبیه‌شده وجود ندارد و انتظار دارد که در طول زمان روابط را عمیق‌تر کند و آنچه را که می‌آموزد برای کمک به ایجاد بهترین شیوه‌ها به اشتراک بگذارد. این شرکت گفت که این تلاش از تعهداتش تحت توافق کاخ سفید در مورد اطلاعات فوق العاده حمایت می کند، که بر اساس آن با ارزیابی های مستقل از کنترل های ایمنی خود موافقت کرد.

(دفتر مرکزی OpenAI. عکس فایل.)

💬 Comments

No comments yet. Be the first!