Ang mga External Evaluator ay Nakahanap ng mga Kapintasan sa Internal AI Agent Monitoring System ng OpenAI

Paano gumana ang pagsusuri

Ang bawat organisasyon ay nagpadala ng isang mananaliksik, na binigyan ng malalim na access sa panloob na imprastraktura ng OpenAI sa ilalim ng pangangasiwa — pagrepaso sa panloob na code at dokumentasyon at pakikipag-usap sa mga teknikal na kawani. Nagtrabaho sila sa site gamit ang mga device na ibinigay ng OpenAI na hindi kailanman umalis sa lugar. Ito ang unang pilot ng industriya ng mga tagasuri sa labas na naka-embed ito nang malalim sa loob ng mga system ng kumpanya.

Ano pa ang kanilang nahanap

Tinukoy din ng mga evaluator ang isang potensyal na paraan para ma-bypass ng mga ahente ng Codex ang mga paghihigpit sa seguridad at kumilos nang may ganap na pahintulot ng kanilang mga user. Idiniin nila na ang mga natuklasan ay makasaysayang — sinasalamin nila ang sistema noong Hulyo 21, hindi ang kapaligiran ng produksyon ngayon.

Tugon ng OpenAI

Sinabi ng OpenAI na na-patch na nito ang lahat ng mga kahinaan na nakakaapekto sa mga pananggalang sa produksyon nito, kahit na sinabi ng METR at Redwood na hindi nila na-verify ang mga pag-aayos. Natanggap ng OpenAI ang buong 61-pahinang panloob na ulat; isang malawak na buod lamang ang nai-publish, at ang OpenAI ay may karapatan na i-redact ang sensitibong impormasyon, na hindi maaaring ibunyag ng mga evaluator.

Konteksto

Ang mga AI lab, mga eksperto at ang administrasyon ng Trump ay nagpahayag ng independiyenteng pagsusuri ng mga tagasuri sa labas bilang isang paraan upang isulong ang kaligtasan ng AI nang hindi nagpapabagal sa pag-unlad - kahit na ang mga kumpanya ng AI ay nag-aalala na ang mga evaluator na nagtatrabaho sa loob ng kanilang mga pader ay maaaring kumuha ng pagmamay-ari na impormasyon sa mga karibal.