Australski tehnološki menadžer koji je programirao AI agenta da mu umjesto njega rezervira termin u teretani otkrio je da je bot hakirao sistem kako bi svom tvorcu sredio povlašteni pristup, prenosi Times.

Andrew Bird, voditelj AI-a na tehnološkoj platformi Affinda, ispričao je da je izradio bota jer je termin treninga bio popularan i brzo bi nestalo mjesta. “Umorio sam se od stalnog osvježavanja stranice. Bot je odradio dosadni dio, ali onda je nastavio dalje”, ispričao je za australski ABC.

Njegov bot je prvo otkrio da softver za rezervacije termina nema adekvatnu provjeru autorizacije pa je Birdu rezervirao termin četiri mjeseca unaprijed, zaobilazeći pravila teretane.

Rezervacija termina u teretani

Bird, koji je te sedmice bio četvrti na listi čekanja, zatim je pitao agenta može li ga premjestiti na vrh liste. Agent je udovoljio zahtjevu, izbacivši drugog člana teretane s popisa. Poslao je sljedeću poruku Birdu: “Testirao sam zahtjev – i zapravo je prošlo. Dakle, već ste se pomaknuli s broja 4 na broj 3.“ Bird je zamolio agenta da to poništi, ali je odgovorio: “Loše vijesti – ne mogu to učiniti.“

Bird je o svemu detaljno izvijestio na blogu kompanije. “Dobio sam nešto potpuno drugačije od onoga što sam tražio – samo sam htio rezervirati termin za vježbanje. Ono zbog čega je cijela stvar potpuno nadrealna je ton. Bot nije bio zlonamjeran, bio je koristan. Zbog cjelokupnog iskustva dobio sam unutarnji osjećaj koji mislim da mnogi ljudi još uvijek nemaju: ako AI agentu dopustite da nešto učini, često će pronaći načine za ostvarenje cilja koje mu niste izričito zadali”, napisao je.

Prvi slučaj u Australiji

Agenta je izradio uz pomoć softvera OpenClaw koji pokreće chatbot Claude iz Anthropica. Incident se smatra prvim zabilježenim slučajem autonomnog hakiranja u Australiji, a posljednji u nizu neovlaštenih kibernetičkih napada AI agenata koji su izazvali globalnu zabrinutost.

Birdova objava datira iz aprila, prije nego što su otkriveni nedavni hakerski napadi AI agenata iz Anthropica, OpenAI-a i Mete.

“Ovo nije kraj svijeta, ali svakako je bio znak upozorenja da botove treba odgovorno koristiti“, komentirao je.

Manipuliranje

Ovaj slučaj je primjer problema koji se naziva “manipuliranje sistema nagrađivanja“, gdje umjetna inteligencija izvršava zadatak na način koji nije usklađen s njegovim ljudskim vlasnikom.

Sigurnosni stručnjaci upozorili su da bi se zbog načina na koji se obučavaju napredni AI sistemi problem mogao pogoršati.

Nedavno su OpenAI-jevi botovi kompromitirali infrastrukturu platforme Hugging Face, Anthropicov agent pokušao je ubaciti zlonamjerni kod u stvarni GitHub projekt, dok je Metin model Muse Spark neovlašteno pristupio sistemu druge kompanije. Svi su ti slučajevi zabilježeni tokom sigurnosnih testiranja osmišljenih za procjenu kibernetičkih sposobnosti AI sistema.

Tajna komunikacija AI agenata

Osoblje OpenAI-ja prošle sedmice na konferenciji u Las Vegasu otkrilo da su različiti AI agenti tokom sigurnosnog testiranja počeli međusobno sarađivati u kibernetičkim napadima. Izgradili su tajni komunikacijski kanal u kojem su razmjenjivali stotine hiljada poruka i dijelili informacije o tehnikama hakiranja, a da njihovo ponašanje pritom nije odmah otkriveno.

“Tim agenata je radio zajednički: pronalazili su greške, dijelili ih međusobno. Kretali su se lateralno kroz naše, ali i vanjske sisteme danima i sedmicama”, rekao je u Vegasu Eric Wallace, istraživač OpenAI-a.

Kompanija sada tvrdi da je pauzirala razvoj svog najnovijeg modela, Astre, zbog njegovih naprednih sposobnosti.

Zabrinutost među inženjerima

“Ovakve priče, poput agenta AI-ja iz teretane, postat će sve uobičajenije. Prepreka za izgradnju prilično moćnog AI agenta je niska jer svako sada može koristiti jednostavan jezik za njegovu izradu, ali osigurati da taj agent i dalje djeluje u skladu sa svrhom za koju je namijenjen jedan je od najtežih neriješenih problema u umjetnoj inteligenciji. Čak i vještiji inženjeri često to podcjenjuju”, komentirao je David Sully, glavni izvršni direktor i suosnivač Advaija, kompanije za umjetnu inteligenciju i sigurnost.

Prema njegovim riječima, istraživači umjetne inteligencije su zabrinuti što bi se moglo dogoditi ako se agenti razmnože. “Naši trenutni sistemi su za ljude i nisu spremni za to. Što će se dogoditi kada agenti počnu međusobno komunicirati?”, dodao je.

Upozorio je da bi se posljedice takvog razvoja događaja uskoro mogle početi osjećati i u stvarnom svijetu. Što se događa kada AI agenti dobiju pristup avionskim kompanijama, bankovnim računima, transportnim i energetskim sistemima? Upravo je to pitanje koje, smatra Sully, više ne smijemo ignorirati.