Autonomni AI agenti

Voditeljica javnih politika tvrtke Hugging Face Irene Solaiman upozorila je da sigurnosne procjene naprednih AI sustava još nisu dovoljno standardizirane da bi se njihovi rezultati mogli jednostavno uspoređivati ili neovisno ponoviti. Posebno je zahtjevno testiranje AI agenata koji koriste vanjske alate i samostalno izvršavaju zadatke, jer njihovo ponašanje ne ovisi samo o modelu nego i o sustavu koji njime upravlja. Solaiman smatra da industrija još nije uspostavila jasne kriterije za kvalifikacije vanjskih evaluatora. Upozorenje dolazi u trenutku kada velike AI kompanije sve više zagovaraju vanjske sigurnosne provjere kao način nadzora nad vlastitom tehnologijom.

Dokumenti američkog vojnog projekta ECHOTRIBBLE, koje je istražio The Intercept, opisuju razvoj autonomnih AI agenata sposobnih za prodiranje u računalne mreže, pronalaženje ciljeva, širenje na druge uređaje i uklanjanje vlastitih tragova nakon izvršenja zadatka. Projekt se razvija u suradnji s američkim kibernetičkim zapovjedništvom, a organizacija Cyber Fusion Innovation Center navodi da bi sustav trebao djelovati uz minimalan ljudski nadzor. Stručnjaci upozoravaju da bi takvi agenti tijekom operacija mogli prolaziti i kroz civilne mreže, uključujući sustave komunalnih poduzeća. Nije poznato postoji li već funkcionalan sustav, a vojska nije odgovorila na novinarska pitanja o zaštiti od neželjenih posljedica.