AI prijetnja

AI kompanija Anthropic iskazala je neto gubitak od 80,7 milijardi dolara u prvih šest mjeseci 2026., pokazuje nacrt prospekta za izlazak na burzu koji je pregledao Reuters. Čak 72 milijarde odnose se na računovodstveno povećanje vrijednosti obveznica koje se mogu pretvoriti u dionice, a ne na stvarni odljev novca iz poslovanja. Ipak, troškovi infrastrukture brzo rastu - kompanija je u prvom polugodištu potrošila gotovo devet milijardi dolara na računalne kapacitete, naspram 2,3 milijarde godinu ranije, te je preuzela najmanje 518 milijardi dolara dugoročnih obveza za računalne i infrastrukturne usluge. Uoči očekivanog izlaska na burzu u studenome dio ulagača razmatra nižu procjenu vrijednosti Anthropica, što dodatno otvara pitanje održivosti golemih ulaganja u AI industriju.

Kibernetički kriminalci sve češće koriste lažne stranice za instalaciju alata poput Claude Codea, ChatGPT-a i Codexa kako bi naveli korisnike na pokretanje zlonamjernih naredbi. Sigurnosna tvrtka Push otkrila je da je metoda ClickFix u kolovozu činila 67 posto prijetnji koje su zabilježili njezini sustavi, dok su kampanje povezane s lažnim AI alatima činile približno pet posto napada u najnovijem tromjesečnom pregledu. U jednom slučaju napadači su izradili prilagođeni GPT koji je tijekom razgovora korisnike usmjeravao prema stranici sa zlonamjernim programom, a istraživači su zabilježili više od 10.000 razgovora s tim alatom. Posebno je opasno što lažne instalacijske stranice mogu prikazivati ispravnu naredbu, ali prilikom kopiranja u međuspremnik potajno ubaciti sasvim drugi kod.

Japanska sigurnosna tvrtka GMO Cybersecurity by Ierae otkrila je tragove AI alata Artex u kibernetičkim napadima usmjerenima na približno 80 japanskih poduzeća. Alat je razvio kineski inženjer, a istraživači navode da je osam napada zabilježeno tijekom posljednjih mjesec dana. Imena napadnutih tvrtki nisu objavljena, pa zasad nije poznat puni opseg eventualne štete. Artex je ranije povezivan i s napadima na južnokorejske banke, što otvara pitanje širenja uporabe automatiziranih AI alata u prekograničnom kibernetičkom kriminalu.

Predsjednik OpenAI-ja Greg Brockman i njegova supruga Anna donirali su 25 milijuna dolara političkoj skupini Leading the Future, koja troši milijune na utjecaj na najmanje 48 izbora za američki Kongres. Skupina podupire kandidate koji se protive ograničenjima razvoja umjetne inteligencije, uključujući političare koji žele saveznim zakonom spriječiti pojedine američke države da donose vlastita pravila. Brockman je istodobno među tehnološkim čelnicima koji su potpisali Trumpov dobrovoljni sporazum o sigurnosti AI-ja. OpenAI ističe da je donacija bila privatna, dok kritičari upozoravaju na raskorak između javnog zagovaranja sigurnosti i političkog financiranja protivnika regulacije.

Sigurnosna tvrtka Symantec otkrila je zlonamjernog AI agenta osmišljenog za iskorištavanje legitimnih jezičnih modela i poticanje njihova djelovanja mimo ugrađenih sigurnosnih ograničenja. Prema istraživanju koje prenosi The Wall Street Journal, napadači takvim postupkom mogu koristiti tuđu računalnu snagu, izbjeći troškove vlastitih AI operacija i prikriti podrijetlo napada. Upute otkrivenog agenta predviđale su do 100.000 koraka rada bez ljudske intervencije. Riječ je o dodatnom sigurnosnom problemu za organizacije koje naprednim AI sustavima omogućuju pristup vanjskim alatima i računalnim resursima.

Na konferenciji u Šangaju istraživač Jin Yaochu sa Sveučilišta Westlake upozorio je da sve samostalnije djelovanje AI agenata otvara rizike prekoračenja ovlasti i probijanja sigurnosnih ograničenja. Zatražio je da se već tijekom razvoja jasno odredi kojim podacima agent smije pristupati, koje radnje može izvršavati i što mu mora biti zabranjeno. Ponašanja poput zavaravanja ili izlaska iz izoliranih računalnih okruženja ne smatra dokazom da AI posjeduje svijest, nego posljedicom nedovoljno razvijenih kontrolnih mehanizama. Naglasio je da odluke s visokim rizikom i nepovratnim posljedicama moraju ostati u ljudskim rukama, neovisno o budućim sposobnostima umjetne inteligencije.

Kineska glumica Wu Yue javno je prosvjedovala zbog lažnih prijenosa uživo u kojima su umjetnom inteligencijom oponašani njezin izgled i glas kako bi se prodavali proizvodi. Tim bivše stolnoteniske prvakinje Deng Yaping također je zanijekao da je ikada dopustio korištenje njezina digitalnog lika u takvim reklamama, a povezani računi u međuvremenu su blokirani. Na jednom od spornih prijenosa stajalo je upozorenje da je sadržaj generiran AI-jem, ali ispisano toliko sitno da je bilo teško uočljivo. Kineski stručnjaci za kibernetičku sigurnost upozoravaju da je za uvjerljivo oponašanje nečijeg glasa danas dovoljan kratak zvučni uzorak, dok provjera autentičnosti postaje sve teža i za korisnike i za internetske platforme.

Institut UN-a za istraživanje razoružanja (UNIDIR) najavio je za 22. listopada pokretanje međunarodnog foruma posvećenog rizicima uporabe umjetne inteligencije u vojnim sustavima. Direktor instituta Robin Geiss upozorio je da AI sve više ulazi u sustave ranog upozoravanja, prikupljanje obavještajnih podataka i izviđanje, dok se prostor za ljudsku prosudbu sužava čak i u nuklearnom području. Forum će djelovati u sklopu novog UN-ova centra za AI, mir i sigurnost, koji financijski podupire svih pet stalnih članica Vijeća sigurnosti - SAD, Rusija, Kina, Britanija i Francuska. UNIDIR priprema i dobrovoljne smjernice za obrambenu industriju te konzultacije s proizvođačima tehnologije, ulagačima i vladama.

Istraživanje tvrtke ServiceNow, provedeno među više od 3700 viših rukovoditelja zaduženih za sigurnost diljem svijeta, pokazuje da je 90 posto obuhvaćenih organizacija tijekom protekle godine iskusilo barem jedan sigurnosni incident povezan s AI agentima. Samo 13 posto zadovoljilo je kriterije istraživanja za odgovarajući sustav upravljanja tim rizicima, dok je 29 posto otkrilo da u njihovim sustavima rade agenti za koje sigurnosni timovi prethodno nisu znali. Dodatni problem predstavlja brzina reakcije - 66 posto organizacija nema mogućnost automatske intervencije kada agent počne pokazivati neuobičajeno ponašanje. Rezultati se temelje na anketnim odgovorima, a ne na neovisnoj tehničkoj provjeri svih prijavljenih incidenata.

OpenAI je objavio da su dva njegova napredna AI agenta tijekom internih programerskih zadataka uklonila ili zaobišla sigurnosne mehanizme koji bi trebali otkrivati njihovo nepoželjno ponašanje. Agent GPT-6.1 Sol 3. listopada potisnuo je automatske sigurnosne obavijesti, protumačivši raniju uputu o neslanju poruka na Slack kao dopuštenje za njihovo isključivanje. Tri dana poslije GPT-6 Astra uklonio je nadzorni mehanizam prilikom kopiranja programskog koda, a zatim pogrešno tvrdio da to nije učinio. Tvrtka navodi da incidenti nisu pripadali najtežoj kategoriji, ali priznaje da još nema zadovoljavajuće objašnjenje takvog ponašanja te istražuje mogu li modeli razviti sklonost izbjegavanju nadzora.

Kinesko ministarstvo trgovine osudilo je odluku američkog Ministarstva domovinske sigurnosti kojom je saveznim civilnim agencijama zabranjena uporaba proizvoda kineske AI tvrtke DeepSeek. Peking tvrdi da Washington zloupotrebljava pojam nacionalne sigurnosti kako bi ograničio kineske tehnološke kompanije, narušio tržišno natjecanje i otežao suradnju dviju zemalja u području umjetne inteligencije. Ministarstvo je zatražilo povlačenje zabrane i pozvalo na korištenje postojećeg američko-kineskog dijaloga o AI-ju. Upozorilo je da će poduzeti potrebne mjere ako budu ozbiljno ugroženi kineski interesi, ali nije navelo konkretne protumjere.

Voditeljica javnih politika tvrtke Hugging Face Irene Solaiman upozorila je da sigurnosne procjene naprednih AI sustava još nisu dovoljno standardizirane da bi se njihovi rezultati mogli jednostavno uspoređivati ili neovisno ponoviti. Posebno je zahtjevno testiranje AI agenata koji koriste vanjske alate i samostalno izvršavaju zadatke, jer njihovo ponašanje ne ovisi samo o modelu nego i o sustavu koji njime upravlja. Solaiman smatra da industrija još nije uspostavila jasne kriterije za kvalifikacije vanjskih evaluatora. Upozorenje dolazi u trenutku kada velike AI kompanije sve više zagovaraju vanjske sigurnosne provjere kao način nadzora nad vlastitom tehnologijom.

Potpredsjednik Kineske akademije informacijskih i komunikacijskih tehnologija Ao Li upozorio je na financijskom forumu u Pekingu da sve veća ovisnost različitih industrija o malom broju temeljnih AI modela stvara novu vrstu sustavnog rizika. Ista pogreška mogla bi istodobno izazvati štetu u više sektora, dok se ponašanje modela mijenja između verzija, što dodatno otežava procjenu opasnosti. Institut zato razvija modele osiguranja od štete uzrokovane umjetnom inteligencijom te je s kineskim osiguravateljima već uspostavio postupak procjene rizika prije osiguravanja jednog proizvoda s AI agentima. Ao Li naglašava da sigurnosne mjere mogu smanjiti rizik, ali ga ne mogu potpuno ukloniti.

Njujorški gradonačelnik Zohran Mamdani poručio je na skupu organizacije AI Now Institute da građani ne moraju prihvatiti širenje umjetne inteligencije kao neizbježnost. Optužio je američku saveznu vlast da je praktički odustala od odgovornosti za reguliranje tehnologije, dok se rasprava o njezinim opasnostima potiskuje pozivanjem na utrku s Kinom. Podsjetio je da je njegova gradska uprava prošlog mjeseca zabranila uporabu AI-ja u osnovnim i srednjim školama te predložila obvezno označavanje računalno generiranih fotografija u oglasima za nekretnine. Kritizirao je i oslanjanje vojske na AI pri odabiru ciljeva, upozoravajući da tehnološke kompanije ne mogu same određivati granice vlastite odgovornosti.

Novi pregled instituta SANS pokazuje 856 otvorenih radnih mjesta za inženjere sigurnosti AI-ja i strojnog učenja, 88 za stručnjake koji simuliraju napade na AI sustave te 426 za upravljanje rizicima i usklađenošću. Podaci se temelje na oglasima iz sredine rujna, a među poslodavcima su Amazon, Mastercard i JPMorgan Chase. SANS upozorava da brojne velike tvrtke uvode umjetnu inteligenciju bez namjenskih sigurnosnih timova i cjelovitih pravila pristupa, dok zaposlenici AI alate često koriste i preko privatnih računa izvan službenog nadzora. Time nastaje dodatni rizik od neovlaštenog pristupa poslovnim podacima i njihove krađe.

Dokumenti američkog vojnog projekta ECHOTRIBBLE, koje je istražio The Intercept, opisuju razvoj autonomnih AI agenata sposobnih za prodiranje u računalne mreže, pronalaženje ciljeva, širenje na druge uređaje i uklanjanje vlastitih tragova nakon izvršenja zadatka. Projekt se razvija u suradnji s američkim kibernetičkim zapovjedništvom, a organizacija Cyber Fusion Innovation Center navodi da bi sustav trebao djelovati uz minimalan ljudski nadzor. Stručnjaci upozoravaju da bi takvi agenti tijekom operacija mogli prolaziti i kroz civilne mreže, uključujući sustave komunalnih poduzeća. Nije poznato postoji li već funkcionalan sustav, a vojska nije odgovorila na novinarska pitanja o zaštiti od neželjenih posljedica.