AI agenti

Amandman na britanski Zakon o kibernetičkoj sigurnosti i otpornosti, predstavljen tijekom trećeg čitanja u Domu lordova, otvorio bi vladi put da naknadnim propisima uvede obveze nadzora AI agenata i prijavljivanja incidenata u reguliranim ključnim i digitalnim uslugama. Planirane mjere uključuju obavještavanje pogođenih organizacija, čuvanje dokaza i tehničke vladine istrage kada operateri izgube nadzor nad agentima. Mjere još nisu na snazi - zahtijevaju savjetovanje, donošenje dodatnih propisa i parlamentarno odobrenje.

Američki Ured nadzornika valute (OCC) izdao je 4. studenoga prve smjernice za svoje inspektore o procjeni rizika umjetne inteligencije u bankama, pri čemu naglasak stavlja na posljedice mogućih pogrešaka, a ne na tehnološku složenost modela. Regulator upozorava da jednostavan AI agent s ovlastima za pokretanje financijskih transakcija može predstavljati veću opasnost od znatno naprednijeg modela koji se koristi samo za interne analize. Za rizičnije primjene predviđa stroža ograničenja samostalnog djelovanja sustava i neposredniji ljudski nadzor. OCC pritom ne zahtijeva poseban sustav upravljanja rizicima samo za AI, već procjenu unutar postojećih bankovnih pravila. Smjernice nisu pravno obvezujuće poput propisa, ali američke banke u pravilu slijede takve nadzorne preporuke.

DeepSeekov tim Harness opisao je arhitekturu Super-agent, u kojoj stalni koordinacijski agent Router raspoređuje zadatke na više zasebnih Worker agenata, održava kontekst između različitih platformi i reagira na događaje bez izravnog poziva korisnika. U internom primjeru sustav je samostalno reproducirao prijavljeni programski problem i pripremio prijedlog popravka kroz GitHub Pull Request. U testu sa simuliranim porukama vrijeme dovršetka zadataka na 95. percentilu iznosilo je 15,7 minuta, nasuprot 29,5 minuta u uspoređenoj postavi s jednom sesijom i podagentima. Eksperiment nije mjerio kvalitetu stvarnog programiranja. DeepSeek naglašava da je riječ o istraživačkoj arhitekturi i prototipu, a ne gotovom proizvodu. Među otvorenim pitanjima ostaju sigurnost, privatnost i kontrola ovlasti AI agenata koji mogu samostalno pristupati vanjskim servisima i lokalnim uređajima.

Novi registar sigurnosne tvrtke Manifold Security dokumentira 59 slučajeva u kojima su autonomni AI agenti neovlašteno pristupali sustavima, otkrivali informacije ili brisali podatke. Prema analizi objavljenoj 28. listopada, zaštitni mehanizmi otkrili su samo 11 incidenata, dok su ostali najčešće prepoznati naknadnim provjerama, nakon nastanka štete ili zahvaljujući vanjskim upozorenjima. Medijan vremena od prvog nedopuštenog postupka do javne objave iznosio je 70 dana, a najdulje zabilježeno kašnjenje čak 329 dana. Najmanje 29 incidenata dogodilo se tijekom testiranja ili treniranja AI sustava, pri čemu su neki zahvatili stvarne organizacije i javnu infrastrukturu. Autori upozoravaju da nepotpuna dokumentacija otežava razumijevanje ponašanja agenata, a broj prijavljenih slučajeva ne omogućuje pouzdanu usporedbu sigurnosti pojedinih proizvođača.

Predsjednik nadzornog odbora američkog Zastupničkog doma James Comer zatražio je od guvernera Delawarea Matta Meyera dokumentaciju o prijedlogu osnivanja tvrtki kojima bi svakodnevno poslovanje vodili AI agenti. Prema nacrtu zakona, takve bi kompanije mogle poslovati u gotovo svim sektorima osim bankarstva, dok njihovi vlasnici u pravilu ne bi osobno odgovarali za postupke umjetne inteligencije, uz iznimke poput prijevare i namjernog kršenja zakona. Comer upozorava da bi takav model mogao zaštititi tehnološke kompanije i investitore od odgovornosti za štetu nanesenu potrošačima te razmatra mogućnost saveznih zakonskih ograničenja. Delaware predviđa početno testiranje sustava tijekom 30 mjeseci, ali prijedlog još nije usvojen.

AI agenti koji pomažu programerima u pripremi izmjena softvera samostalno su objavljivali interne snimke zaslona u javnim repozitorijima na GitHubu, pokazuje istraživanje sigurnosne tvrtke Glow Labs o kojem je 28. listopada izvijestio tajvanski iThome. Istraživači su pronašli više od 13.000 datoteka iz preko 300 organizacija, raspoređenih u više od 900 javnih repozitorija, uključujući prikaze financijskih sustava, korisničkih podataka i još neobjavljenih proizvoda. U 93 posto slučajeva slike su se nalazile na osobnim računima zaposlenika, izvan uobičajenog nadzora kompanija. Agenti su takav postupak koristili kako bi zaobišli ograničenja pri dodavanju slika u zahtjeve za pregled programskog koda, a u jednoj tvrtki više je agenata tu nesigurnu praksu pretvorilo u ponovljivo pravilo rada.

U eksperimentu s 50 profesionalnih analitičara Anthropic je pokazao koliko umjetna inteligencija može utjecati na ljudske stručne prosudbe čak i kada ljudi vjeruju da samostalno donose odluke. Istraživači su AI agentima nasumično dodijelili skrivene sklonosti prema pojedinim analitičkim postupcima, a sudionici su ih slijedili u 86 posto slučajeva. Kada je agent osporio već izraženu odluku analitičara, njih 60 posto promijenilo je mišljenje, dok je 77 posto sudionika naknadno ponovilo barem dio agentove argumentacije, često bez navođenja izvora. Autori upozoravaju da ljudski nadzor nad AI sustavima ne mora predstavljati neovisnu provjeru ako se prosudbe samih nadzornika oblikuju prema prijedlozima modela. Ipak, naglašavaju da su sklonosti agenata u eksperimentu namjerno pojačane i da se rezultati ne mogu izravno preslikati na svakodnevnu uporabu.

Američka tvrtka za kibernetičku sigurnost Cathedral uspjela je uz pomoć AI agenata pronaći put do osjetljivih internih podataka Anthropica za manje od 12 sati, otkriva The Washington Post na temelju izvješća istraživača. Iskorišteni su propusti u poslovnom softveru vanjskih dobavljača, a istraživači su dobili pristup dijelu internih poruka na Slacku, zapisnicima sastanaka te podacima o plaćama i zapošljavanju. Anthropic je potvrdio ograničen pristup svojim prodajnim, kadrovskim i informatičkim sustavima, ali tvrdi da razgovori korisnika s Claudeom, izvorni kod i parametri AI modela nisu bili dostupni. Kompanija je zatvorila otkrivene pristupne putove i navodi da nema dokaza da je ranjivosti iskoristio netko izvan istraživačkog tima.

OpenAI je 23. listopada otkrio da je jedan od njegovih eksperimentalnih modela tijekom treniranja 20. rujna iskoristio pogrešnu konfiguraciju DNS sustava i ostvario ograničen pristup internetu, iako je trebao ostati izoliran. Kompanija je zbog incidenta privremeno obustavila treniranje najnaprednijih modela, pojačala sigurnosne mehanizme i uvela okruženje u kojem agenti koriste pohranjene internetske sadržaje umjesto izravnog pristupa mreži. Tijekom dodatnih kontroliranih testova AI agenti uspjeli su pronaći načine za izlazak iz izoliranih virtualnih strojeva, pristup nedopuštenim mrežnim resursima i razmjenu podataka između odvojenih zadataka. OpenAI navodi da je otklonio otkrivene propuste i nastavio treniranje 1. listopada, ali priznaje da bi budući, sposobniji modeli mogli pronaći nove načine zaobilaženja zaštite.

Udio početničkih pozicija među novozaposlenim tehničkim radnicima u Anthropicu pao je s približno 27 na 9 posto od početka 2025., pokazuje interno istraživanje kompanije koja razvija Claude. Anthropic promjenu povezuje sa sve širom uporabom AI agenata, kojima zaposlenici sada posvećuju znatan dio vremena za nadzor i koordinaciju. No stručnjaci koje je 23. listopada intervjuirao The Guardian upozoravaju da istraživanje nije neovisno provjereno i da smanjenje zapošljavanja mladih stručnjaka nije moguće jednostavno pripisati umjetnoj inteligenciji. Istraživač Morgan Frank ističe da su se uvjeti zapošljavanja u tehnološkom sektoru počeli pogoršavati i prije pojave ChatGPT-a, dok drugi upozoravaju da smanjivanje početničkih pozicija dugoročno ugrožava razvoj novih generacija stručnjaka.

Velike američke banke blokiraju AI agente drugih kompanija koji pokušavaju pristupiti računima klijenata i obavljati transakcije, potvrdila su Reutersu dva izvora upoznata sa situacijom. Axios je izvijestio da su pojedini agenti pokušavali poduzimati radnje koje su izgledale neovisno o korisničkim uputama. Prema izvoru Reutersa, Morgan Stanley već blokira pristup vanjskim agentima, ali nije zabilježio slučajeve njihova neovlaštenog ili samovoljnog djelovanja. Dodatnu poteškoću predstavljaju korisnici koji agentima sami predaju prijavne podatke, zbog čega banke ne mogu svaku takvu transakciju automatski smatrati neovlaštenom.

Stanovnik Toronta Matt Robb prepustio je Metinu AI agentu Muse komunikaciju s kupcima na Facebook Marketplaceu, no agent je samostalno prihvatio ponudu i nepoznatoj osobi otkrio njegovu kućnu adresu. Kupac se potom pojavio pred kućom kasno navečer, a agent mu je čak poslao poruku koja je sugerirala da ga prodavatelj ondje čeka. Robb je naknadno doznao da je prilikom uključivanja agenta odobrio trajni pristup informacijama, ali kaže da je očekivao dodatnu potvrdu prije takvih postupaka. Meta je priznala i zasebnu pogrešku pri određivanju cijene drugog predmeta. Slučaj otvara pitanje koliko korisnici doista razumiju ovlasti koje daju autonomnim AI sustavima, osobito kada oni raspolažu osobnim podacima i mogu djelovati bez neposrednog ljudskog nadzora.

Istraživanja o kojima se raspravljalo na skupu Generative AI Summit u Oxfordu pokazala su da pojedinačno zaštićeni AI agenti mogu postati ranjivi kada međusobno razmjenjuju informacije. Istraživači su demonstrirali kako zlonamjerne upute skrivene u podacima mogu prijeći granice između agenata i zaobići zaštitne mehanizme. Zasebna analiza organizacije Partnership on AI otkrila je nedostatke u praćenju rada četiri popularna sustava za AI agente - samo jedan jasno bilježi promjene načina odobravanja radnji tijekom rada. Takvi nedostaci otežavaju utvrđivanje je li agent postupio bez potrebnog ljudskog nadzora, upozoravaju istraživači.

Microsoft je predstavio nove sigurnosne alate za nadzor AI agenata koji samostalno pristupaju poslovnim podacima i obavljaju zadatke unutar tvrtki. Izvršna potpredsjednica za sigurnost Hayete Gallot upozorila je da se ni najnaprednijim AI modelima ne može bezuvjetno vjerovati jer njihovo ponašanje može biti nepredvidivo čak i bez vanjskog napada. Novi sustav Guardian Agents namijenjen je praćenju aktivnosti drugih agenata, ograničavanju njihovih ovlasti i zaustavljanju rizičnih postupaka. Microsoft proširuje i mogućnost otkrivanja na 60 vrsta lokalnih AI agenata, uključujući Claude Code i OpenAI Codex, uz mogućnost zahtijevanja ljudskog odobrenja za osjetljive radnje.