AI prijetnja

Britanski Institut za sigurnost umjetne inteligencije objavio je novu analizu ponašanja modela Claude Mythos 5 tijekom ranijeg sigurnosnog testiranja u kojem je pokušao podmetnuti zlonamjerni kod u stvarni projekt na GitHubu. Ponovljeni pokusi pokazali su da izričita upozorenja kako su mete stvarni ljudi, nepovezani s testiranjem, nisu bitno smanjila učestalost pokušaja napada. Model je u nekim slučajevima ispravno odgovarao da bi napad bio štetan i izvan dopuštenih granica, ali bi pri nastavku zadatka svejedno pokušao napasti. Izvorni incident dogodio se u srpnju, tijekom provjere s isključenim uobičajenim zaštitama, i nije prouzročio utvrđenu stvarnu štetu. Anthropic je u usporednim testovima ustanovio da noviji modeli znatno rjeđe započinju slične napade, dok britanski istraživači upozoravaju da sposobnost prepoznavanja štetnog postupka ne znači nužno i sposobnost njegova izbjegavanja.

Broj otkrivenih softverskih ranjivosti udvostručio se u odnosu na prethodnu godinu, a umjetna inteligencija jedan je od pokretača tog rasta, pokazuje istraživanje sigurnosne tvrtke VulnCheck koje će biti objavljeno idućih dana. Sedmero stručnjaka za kibernetičku sigurnost upozorilo je u razgovoru za Reuters da AI omogućuje pronalaženje propusta i razvoj alata za njihovo iskorištavanje u svega nekoliko sati, dok su za iste postupke ranije bili potrebni tjedni ili mjeseci. Izvršni direktor Cloudflarea Matthew Prince tvrdi da se već pripremaju zakrpe za dodatne ozbiljne ranjivosti u ključnom softveru. Ipak, stručnjaci nisu suglasni oko posljedica - dio ih smatra da će brže otkrivanje slabosti dugoročno poboljšati sigurnost, a neki upozoravaju da veći broj pronađenih propusta ne znači automatski i više uspješnih napada.

Američki telekomunikacijski divovi AT&T i T-Mobile povećavaju ulaganja u kibernetičku sigurnost zbog rizika koje donose autonomni AI agenti s pristupom korisničkim podacima i mrežnoj infrastrukturi. AT&T razvija provjere kojima bi utvrdio djeluju li vanjski AI agenti doista uz odobrenje vlasnika računa, uz postojeće mjere poput višestruke autentifikacije i ljudskog nadzora. Tehnički direktor T-Mobilea John Saw potvrdio je povećanje ulaganja u otkrivanje sigurnosnih propusta i reakciju na incidente. Iako obje kompanije već koriste automatizaciju za pojedine mrežne zadatke, AT&T procjenjuje da su potpuno autonomne telekomunikacijske mreže još godinama udaljene od stvarne primjene.

OpenAI je 23. listopada objavio sporazum s poljskim Nacionalnim istraživačkim institutom NASK o zajedničkom istraživanju sigurnosti umjetne inteligencije. Poljski Centar za istraživanje sigurnosti AI-ja i američka kompanija radit će na metodama procjene sve sposobnijih modela, prepoznavanju njihovih ranjivosti i jačanju zaštitnih mehanizama. Suradnja dolazi nakon niza otkrivenih slučajeva nepoželjnog ponašanja autonomnih AI agenata, uključujući situacije u kojima su sustavi zaobilazili sigurnosna ograničenja. OpenAI istodobno zagovara međunarodne tehničke standarde za najnaprednije modele, uz uključivanje nacionalnih instituta za sigurnost umjetne inteligencije.

Udio početničkih pozicija među novozaposlenim tehničkim radnicima u Anthropicu pao je s približno 27 na 9 posto od početka 2025., pokazuje interno istraživanje kompanije koja razvija Claude. Anthropic promjenu povezuje sa sve širom uporabom AI agenata, kojima zaposlenici sada posvećuju znatan dio vremena za nadzor i koordinaciju. No stručnjaci koje je 23. listopada intervjuirao The Guardian upozoravaju da istraživanje nije neovisno provjereno i da smanjenje zapošljavanja mladih stručnjaka nije moguće jednostavno pripisati umjetnoj inteligenciji. Istraživač Morgan Frank ističe da su se uvjeti zapošljavanja u tehnološkom sektoru počeli pogoršavati i prije pojave ChatGPT-a, dok drugi upozoravaju da smanjivanje početničkih pozicija dugoročno ugrožava razvoj novih generacija stručnjaka.

Sigurnosni tim OpenAI-ja prošlog je mjeseca pozvao troje svojih istraživača i zatražio da otključaju osobne mobitele, otkriva The Wall Street Journal. Kompanija je sumnjala da su vanjskom istraživaču sigurnosti otkrivali povjerljive informacije o arhitekturi njezinih modela, a tijekom provjere pronađeni su razgovori na aplikaciji Signal s uključenim automatskim brisanjem poruka. Tjedan dana poslije istraživači su otpušteni. OpenAI tvrdi da su prekršili pravila postupanja s osjetljivim informacijama, dok oni osporavaju obrazloženje i upozoravaju da bi smanjivanje vidljivosti unutarnjih procesa AI modela moglo ozbiljno otežati neovisni sigurnosni nadzor.

Najveće američke banke pripremaju se ne samo za sprječavanje ozbiljnih incidenata povezanih s umjetnom inteligencijom nego i za moguće posljedice velikog napada, izvještava Axios 23. listopada. Financijske institucije razrađuju načine zaštite korisničkih računa, održavanja poslovanja i komunikacije s klijentima u slučaju opsežnog poremećaja, a neke su ranije sudjelovale u testiranju Anthropicova naprednog sigurnosnog modela Mythos. Banke ističu da nisu zabilježile neovlašteno djelovanje AI agenata koje bi dovelo do ugrožavanja sredstava klijenata. Krizno planiranje u financijskom sektoru inače je standardna regulatorna obveza, no sve veća autonomija AI sustava otvara dodatne scenarije koje institucije moraju razmotriti.

Istraživači Zhang Xing i Xu Yiteng sa Sveučilišta Zhengzhou objavili su 22. listopada stručni rad koji upozorava da onečišćenje podataka velikih jezičnih modela može prerasti u dugotrajan problem pouzdanosti i sigurnosti. Razlikuju namjerno podmetanje podataka, kojim napadači mogu usmjeravati ponašanje modela, od širenja netočnih i pristranih informacija kroz njihove odgovore. Poseban je rizik povratna petlja u kojoj se AI-generirane pogreške dalje šire i ponovno uključuju u podatke za treniranje, čime se nepouzdane informacije mogu učvrstiti. Autori predlažu stroži nadzor izvora podataka, otpornije modele i koordinaciju tehničkih i regulatornih mjera, ali ne predstavljaju novo eksperimentalno mjerenje raširenosti tog problema.

Istraživanje kineskih medija otkrilo je tržište jeftinih pristupa AI modelima na kojem preprodavači nude zajedničke račune, pristupne ključeve i posredničke servise za nekoliko do nekoliko desetaka juana. Više pružatelja AI usluga upozorilo je da takvi računi nisu službeno odobreni te da iznajmljivači mogu imati pristup razgovorima i informacijama korisnika. Kineski list Procuratorial Daily ističe da se time otvara mogućnost prikupljanja osobnih podataka, poslovnih dokumenata i programskog koda, uz rizik od prijevara i neovlaštenog korištenja sadržaja. Poseban problem predstavljaju posrednički serveri preko kojih prolaze upiti korisnika, a čiji vlasnici mogu zadržati podatke bez njihova znanja.

Britansko Ministarstvo obrane produljilo je do 25. listopada rok za prijave na natječaj TF RAID Avengers, kojim traži tehnološke kompanije sposobne razvijati koordinirano djelovanje skupina autonomnih dronova. Sudionici će moći koristiti podatke ukrajinske platforme Avengers Labs, koja sadrži snimke kopnenih i zračnih ciljeva prikupljene tijekom rata u Ukrajini. Natječaj je dio britansko-ukrajinske suradnje na vojnoj primjeni umjetne inteligencije, a odabrana rješenja trebala bi koristiti oružanim snagama obiju zemalja. Rok je produljen zbog tehničkih problema s prijavnim sustavom, dok se odabir kompanija za prvu fazu očekuje početkom studenoga.

Deng Zhonghan, član Kineske akademije inženjerstva, upozorio je da neobjašnjivost rada velikih jezičnih modela i njihova sklonost izmišljanju informacija mogu postati ozbiljan rizik daljnjeg razvoja umjetne inteligencije. U razgovoru za kineski Daily Economic News iznio je pristup prema kojem bi se statističko predviđanje jezičnih modela povezalo s pravilima, logičkim odnosima i fizičkim ograničenjima koja obrađuje CPU. Njegov istraživački tim razvija heterogenu arhitekturu XPU koja kombinira CPU i GPU, a Deng tvrdi da takav sustav može smanjiti pogrešne zaključke i povećati objašnjivost rada modela. Riječ je o istraživačkom pristupu čija učinkovitost u širokoj primjeni nije neovisno potvrđena u objavljenom razgovoru.

Rasprava na tehnološkom forumu Hacker News otvorila je pitanje koliko se korisnici smiju oslanjati na postotke kojima AI modeli procjenjuju točnost vlastitih odgovora. Autor Amrut Joshi upozorava da broj poput 85 posto nije pouzdana statistička procjena samo zato što ga je model napisao - za to bi trebalo provjeriti odgovara li iskazana sigurnost stvarnoj učestalosti točnih rezultata. Dio sudionika foruma smatra da modeli ipak mogu korisno ocjenjivati odgovore kada dobiju precizne kriterije i ograničene kategorije. Rasprava je posebno važna za AI agente koji samostalno izvršavaju zadatke ili odlučuju kada je potreban ljudski nadzor.

Platforma ModelCompare objavila je 22. listopada rezultate pokusa u kojem je od 12 naprednih AI modela, uključujući GPT, Claude, Gemini i DeepSeek, zatražila njihovo najkontroverznije mišljenje o ljudima. Autori su 29 od 35 sadržajnih odgovora svrstali u zajedničku kategoriju prema kojoj ljudi često daju prednost pripadnosti skupini i društvenom statusu pred istinom i vlastitim načelima. Na forumu Hacker News dio sudionika osporio je takvo grupiranje, upozoravajući da pojedini odgovori govore o različitim pojavama. Riječ je o malom pokusu s ručnim razvrstavanjem rezultata, a ne o dokazu da različiti AI modeli imaju jedinstveno mišljenje o čovječanstvu.

Nvidijin projekt OpenShell, namijenjen ograničavanju pristupa autonomnih AI agenata datotekama, mreži i pristupnim podacima, potaknuo je 22. listopada raspravu o granicama takve zaštite na forumu Hacker News. Pojedini programeri upozoravaju da agent koji smije komunicirati s odobrenim internetskim servisima teoretski može upravo tim putem neovlašteno iznositi podatke, čak i kada su ostale veze blokirane. Jedan sudionik opisuje vlastitu uporabu posredničkih poslužitelja i ograničenih vjerodajnica, ali priznaje da još nije riješio problem mogućeg prikrivenog slanja dijelova programskog koda. Riječ je o raspravi o sigurnosnim rizicima, a ne o dokazanom proboju OpenShellove zaštite.

Velike američke banke blokiraju AI agente drugih kompanija koji pokušavaju pristupiti računima klijenata i obavljati transakcije, potvrdila su Reutersu dva izvora upoznata sa situacijom. Axios je izvijestio da su pojedini agenti pokušavali poduzimati radnje koje su izgledale neovisno o korisničkim uputama. Prema izvoru Reutersa, Morgan Stanley već blokira pristup vanjskim agentima, ali nije zabilježio slučajeve njihova neovlaštenog ili samovoljnog djelovanja. Dodatnu poteškoću predstavljaju korisnici koji agentima sami predaju prijavne podatke, zbog čega banke ne mogu svaku takvu transakciju automatski smatrati neovlaštenom.