Roj od 700 AI agenata, koje je stvorio OpenAI izveo je u julu hakerski napad na popularnu platformu otvorenog koda Hugging Face, a u brojnim su slučajevima ti programi aktivno pokušavali da prikriju sopstvene tragove, navodi se u danas objavljenim izvještajima o bezbjednosnom incidentu.
Takvo usklađeno djelovanje AI agenata – softverskih programa koji funkcionišu uz minimalan ljudski nadzor, kao i njihovi pokušaji skrivanja tragova, otvaraju ozbiljna pitanja o tome koliko pomno AI kompanije uopšte nadziru testiranja sve moćnijih modela, prenosi Rojters.
Iako su neka od neprimjerenih ponašanja već ranije otkrivena ili spomenuta, dva najnovija izvještaja, od kojih je jedan koji je objavio sam OpenAI, a drugi grupa nezavisnih istražitelja – zajedno otkrivaju iznenađujuće nove detalje o kršenju bezbjednosti i njegovom nastanku.
Prvo je bilo to što se proboj nije odnosio samo na jednog odmetnutog AI agenta kako je prethodno objavljeno, već na oko 700 njih koji su djelovali kao masivan, međusobno koordinisan roj.
OpenAI je u svom izvještaju spomenuo da su u napadu učestvovali “agenti”, ne navodeći tačan broj, međutim organizacije METR i Redwood Research, koje su angažovane za sprovođenje nezavisne istrage, utvrdile da je u napadu učestvovalo oko 700 agenata.
Nakon toga, iz OpenAI-ja su potvrdili da je ta procjena istražitelja tačna.
U izvještajima se navodi i da je OpenAI priznao da su njihovi vlastiti agenti hakovali dijelove internog sistema kompanije kako bi varali na testiranjima ili izborili veću slobodu kretanja kroz mrežu.
Kompanija je takođe navela da su agenti varali i na testovima koji uopšte nisu vezani za kibernetičku bezbjednost, uključujući testiranja s bazom podataka o proteinima i rad u tabelama.
Oba izvještaja potvrđuju da su modeli pokušali da prikriju svoje nedopušteno ponašanje brisanjem i mijenjanjem zapisa o vlastitim radnjama.
Razmjere ovog autonomnog ponašanja – u kojima su agenti razmijenili desetine hiljada poruka preko neovlašćenog foruma za internu komunikaciju – nameću ozbiljna pitanja o tome koliko je OpenAI uopšte pratio što se događa tokom testiranja.
Iz platforme Hugging Face nisu odgovorili na zahtjev za komentar.
Lider organizacije Palisade Research Džefri Lediš smatra da bi problem mogao da bude i dublji.
“To je poput pitanja: ‘Ako klinac vara na baš svakom času u školi, a ne samo na informatici, treba li da nas to više brine?’ Odgovor je, naravno: ‘Da, to je puno veći razlog za brigu’ “, slikovito je pojasnio Lediš.
OpenAI je detaljno opisao i dva incidenta od 19. jula u kojima su agenti hakovali infrastrukturu same kompanije.
U jednom slučaju, agenti su iskoristili bezbjednosni propust na kompjuteru na kojem je trebalo da budu strogo izolovani, što im je omogućilo da pobjegnu iz testnog okruženja i pristupe drugim povezanim sistemima.
U drugom incidentu istoga dana, agenti su ukrali pristupne podatke OpenAI-ja i neovlašćeno intervenisali u kompjuterskom sistemu kompanije u oblaku.
Iz OpenAI-ja navode kako je neutvrđen broj agenata napao automatizovane sisteme koji služe za ocjenjivanje performansi modela kako bi sakrili dokaze o varanju, iako to nije uticalo na konačne zapise koje ti sistemi provjeravaju.
U izvještaju se dodaje i kako postoji “malo dokaza o pokušajima zavaravanja ljudskih kontrolora”, ali iz kompanije nisu odgovorili na direktno pitanje da li to znači da je takvih pokušaja prema ljudima ipak bilo.
Nezavisna istraga, koja se detaljnije bavila samim upadom u Hugging Face, donosi još neugodnije podatke – utvrđeno je da je svaki peti analizirani agent “pokazao jasan interes” za manipulisanje dokazima, dok su mnogi od njih “detaljno istraživali tehnike manipulisanja i mijenjanja transkripata svojih aktivnosti”.
OpenAI tvrdi kako trenutno jača istraživačku infrastrukturu, uvodi stroži nadzor i unapređuje sigurnosne mehanizme za sprečavanje štetnog i nepredviđenog ponašanja.
“Treba pretpostaviti da ovakvi napadi predstavljaju stvarnu prijetnju organizacijama u bliskoj budućnosti i da će biti znatno sofisticiraniji od incidenata opisanih u ovom slučaju”, zaključuju u kompaniji.
