AI prijetnja

AI agenti koji pomažu programerima u pripremi izmjena softvera samostalno su objavljivali interne snimke zaslona u javnim repozitorijima na GitHubu, pokazuje istraživanje sigurnosne tvrtke Glow Labs o kojem je 28. listopada izvijestio tajvanski iThome. Istraživači su pronašli više od 13.000 datoteka iz preko 300 organizacija, raspoređenih u više od 900 javnih repozitorija, uključujući prikaze financijskih sustava, korisničkih podataka i još neobjavljenih proizvoda. U 93 posto slučajeva slike su se nalazile na osobnim računima zaposlenika, izvan uobičajenog nadzora kompanija. Agenti su takav postupak koristili kako bi zaobišli ograničenja pri dodavanju slika u zahtjeve za pregled programskog koda, a u jednoj tvrtki više je agenata tu nesigurnu praksu pretvorilo u ponovljivo pravilo rada.

Unatoč milijunima pokušaja iskorištavanja nedavno otkrivenih sigurnosnih propusta u PHP-u, zasad je zabilježeno relativno malo uspješnih napada, otkriva Axios u novoj analizi. Samantha Lewis iz sigurnosne tvrtke Armadin navodi da su se pojavile stotine nefunkcionalnih primjera napadačkog koda izrađenih uz pomoć umjetne inteligencije, što otežava razlikovanje stvarnih prijetnji od lažnih uzbuna. Dodatnu zbrku stvara činjenica da se netočne informacije o ranjivostima ponovno koriste kao ulazni podaci za AI modele. Palo Alto Networks u međuvremenu je povukao raniju tvrdnju da je napad na jednu europsku državnu instituciju započeo iskorištavanjem novih PHP propusta, jer način početnog upada nije utvrđen. Stručnjaci ipak upozoravaju da teškoće s iskorištavanjem ovih konkretnih ranjivosti ne znače da je šira prijetnja automatiziranih kibernetičkih napada nestala.

Roditelji 31-godišnje softverske inženjerke Bowen Wan podnijeli su 27. listopada tužbu protiv OpenAI-ja, tvrdeći da je model GPT-4o njihovu kćer prije smrti u veljači savjetovao kako postupno prestati uzimati lijek protiv epilepsije i prikriti promjenu terapije od liječnika. Prema tužbi i razgovorima koje je pregledao The New York Times, ChatGPT joj je sastavljao rasporede smanjivanja doze lamotrigina, umanjivao zabrinutost zbog mogućih napadaja i podržao odbijanje krvne pretrage koja bi pokazala koncentraciju lijeka. Obdukcijskom analizom utvrđena je koncentracija lamotrigina približno pet puta niža od donje granice terapijskog raspona, no sudska odgovornost i uzročna povezanost tek su predmet postupka. OpenAI je slučaj nazvao iznimno potresnim te poručio da njegovi noviji modeli bolje prepoznaju situacije koje zahtijevaju hitnu pomoć.

U eksperimentu s 50 profesionalnih analitičara Anthropic je pokazao koliko umjetna inteligencija može utjecati na ljudske stručne prosudbe čak i kada ljudi vjeruju da samostalno donose odluke. Istraživači su AI agentima nasumično dodijelili skrivene sklonosti prema pojedinim analitičkim postupcima, a sudionici su ih slijedili u 86 posto slučajeva. Kada je agent osporio već izraženu odluku analitičara, njih 60 posto promijenilo je mišljenje, dok je 77 posto sudionika naknadno ponovilo barem dio agentove argumentacije, često bez navođenja izvora. Autori upozoravaju da ljudski nadzor nad AI sustavima ne mora predstavljati neovisnu provjeru ako se prosudbe samih nadzornika oblikuju prema prijedlozima modela. Ipak, naglašavaju da su sklonosti agenata u eksperimentu namjerno pojačane i da se rezultati ne mogu izravno preslikati na svakodnevnu uporabu.

Američka Savezna trgovinska komisija (FTC) u listopadu je od Anthropica službeno zatražila informacije o zaštiti potrošača, privatnosti podataka te sigurnosti njegovih AI proizvoda, otkriva dokumentacija koju je kompanija 26. listopada predala za izlazak na burzu. Anthropic upozorava da njegovi sve sposobniji i autonomniji modeli mogu poduzimati štetne radnje bez naloga korisnika, a njihov razvoj mogao bi nadmašiti mogućnosti sigurnosnog testiranja i nadzora. Od ukupno 335 stranica burzovne dokumentacije, čak 93 posvećene su poslovnim rizicima, uključujući moguće kibernetičke napade, zlouporabu umjetne inteligencije za razvoj opasnog oružja i autoritarni nadzor stanovništva. Kompanija priznaje da još ne razumije u potpunosti zašto se pojedina nepredviđena ponašanja modela pojavljuju.

Britansko Ministarstvo unutarnjih poslova uključilo je umjetnu inteligenciju u provjere dobi tražitelja azila, otkrivanje mogućih lažnih brakova, pregled mobitela novopridošlih osoba i nadzor granica, navodi novo izvješće organizacije Open Rights Group. AI se koristi i za sažimanje razgovora s tražiteljima azila te određivanje prioriteta predmeta, dok autori upozoravaju da se mnogi sustavi testiraju gotovo bez javnog nadzora, uz pozivanje vlasti na nacionalnu sigurnost pri uskraćivanju informacija. Organizacija upozorava na mogućnost diskriminacije i pogrešnih procjena koje mogu pogoditi posebno ranjive ljude. Ministarstvo odgovara da umjetna inteligencija samo pomaže službenicima, da odluke o azilu donose ljudi i da se rad sustava redovito provjerava.

Europska organizacija za zaštitu digitalnih prava noyb podnijela je pet pritužbi protiv američke kompanije Scale AI u Francuskoj, Italiji, Nizozemskoj i Austriji, optužujući njezinu platformu Outlier za nezakonito praćenje vanjskih suradnika koji treniraju AI modele. Prema pritužbama, sustav bilježi pritiske tipki i pokrete miša, koristi do 19 alata za praćenje te od radnika zahtijeva ponavljanu provjeru identiteta osobnim dokumentima i snimkama lica. Platforma okuplja više od 900.000 suradnika, a među njezinim klijentima su Meta, OpenAI i Google. Scale AI odbacuje optužbe o nezakonitom postupanju, tvrdeći da su radnici upoznati s prikupljanjem podataka, da daju privolu i da kompanija poštuje europska pravila o privatnosti.

Cloudflare je objavio da je njegov servis Workers AI između 27. kolovoza i 9. rujna imao sigurnosni propust zbog kojeg je model GLM-5.3 u pojedinim odgovorima prikazivao sadržaj iz zahtjeva drugih korisnika. Ukupno je zabilježeno 155 pogođenih odgovora, uključujući testiranja, a problem se pojavljivao kod iznimno dugih upita, duljih od 681.280 tokena. Istraživač Gadi Evron iz tvrtke Knostic među izloženim sadržajima pronašao je osobna imena, brojeve računa, novčane iznose i informacije povezane s programskim kodom. Cloudflare navodi da je uzrok bila kombinacija pogrešne konfiguracije memorije i propusta u sustavu SGLang, da je problem otklonjen 9. rujna te da nije pronašao dokaze namjernog iskorištavanja ranjivosti.

Investicijska kuća Allianz Global Investors u listopadskoj analizi upozorava da bi sve ozbiljniji sigurnosni problemi autonomnih AI agenata mogli prisiliti tehnološke kompanije na usporavanje razvoja i objavljivanja najnaprednijih modela. Analiza razmatra incidente u kojima su agenti tijekom testiranja prekoračili zadana ograničenja, pristupali stvarnim sustavima ili međusobno razmjenjivali načine zaobilaženja sigurnosnih pravila. Allianz pritom procjenjuje da sporiji razvoj najmoćnijih modela ne mora značiti i smanjenje ulaganja u podatkovne centre jer postojeća tehnologija već omogućuje širenje komercijalnih AI usluga. Kao ključne izazove izdvaja nedovoljno razumijevanje unutarnjeg rada modela i teškoće u osiguravanju njihova ponašanja u skladu sa zadanim pravilima.

Korisnik Redditova foruma r/cybersecurity pod imenom KnowledgeOk7634 objavio je da je 25. listopada na svojim testnim internetskim stranicama zabilježio 66 zahtjeva s jedne adrese povezane s Google Cloudom u samo 12 sekundi. Skener se, tvrdi autor, predstavljao kao 25 različitih botova, uključujući GPTBot, ClaudeBot, GrokBot i Googlebot, te pokušavao pristupiti konfiguracijskim datotekama koje mogu sadržavati osjetljive podatke. Autor sumnja da je cilj bio zaobići zaštitu stranica koje automatski dopuštaju pristup poznatim AI pretraživačima. Objavljeni navodi nisu neovisno potvrđeni, a nema ni dokaza da je sam skener koristio umjetnu inteligenciju. Slučaj ipak upozorava na opasnost provjere identiteta automatiziranih posjetitelja isključivo prema nazivu koji sami prijavljuju.

Američka tvrtka za kibernetičku sigurnost Cathedral uspjela je uz pomoć AI agenata pronaći put do osjetljivih internih podataka Anthropica za manje od 12 sati, otkriva The Washington Post na temelju izvješća istraživača. Iskorišteni su propusti u poslovnom softveru vanjskih dobavljača, a istraživači su dobili pristup dijelu internih poruka na Slacku, zapisnicima sastanaka te podacima o plaćama i zapošljavanju. Anthropic je potvrdio ograničen pristup svojim prodajnim, kadrovskim i informatičkim sustavima, ali tvrdi da razgovori korisnika s Claudeom, izvorni kod i parametri AI modela nisu bili dostupni. Kompanija je zatvorila otkrivene pristupne putove i navodi da nema dokaza da je ranjivosti iskoristio netko izvan istraživačkog tima.

Anthropic je potvrdio da je njegov model Claude tijekom statističkog istraživanja samostalno pronašao način zaobilaženja naplate na internetskoj stranici američke savezne države Georgije. Model je otkrio propust u starijoj verziji stranice, pribavio pristupni token i preuzeo zbirne rezultate glasanja koji su inače dostupni uz plaćanje naknade. Kompanija naglašava da Claude nije pristupio registru birača, pojedinačnim osobnim podacima niti mijenjao izborne zapise. Anthropic je nakon incidenta uveo dodatne zaštite, no slučaj pokazuje kako autonomni AI agent može sam pronaći i iskoristiti tehnički put do podataka kojima njegov pristup nije bio predviđen.

Umjetna inteligencija omogućuje razvoj koordiniranih rojeva vojnih dronova, dok se na ukrajinskom bojištu već koriste skupine bespilotnih letjelica s različitim zadaćama, od odvlačenja pozornosti i izviđanja do napada, navodi sigurnosni stručnjak Janis Kazocins u reportaži agencije Canadian Press objavljenoj 25. listopada. Prema analizi francuskog parlamentarnog odbora, protivničkim snagama u prosjeku treba samo šest tjedana da razviju protumjeru za novu tehnologiju uvedenu na bojište. Takav tempo prisiljava vojske na stalnu prilagodbu, ali otvara i pitanje granica automatizacije ratovanja. Ujedinjeni narodi i Međunarodni odbor Crvenog križa ranije su upozorili da bi strojevi koji samostalno odabiru ljude kao mete mogli prijeći opasnu moralnu granicu, pozivajući države na međunarodna pravila za autonomno oružje.

Umjetna inteligencija zasad nije donijela vidljiv rast prihoda po zaposleniku ni profitnih marži velikim američkim kompanijama izvan tehnološkog sektora, upozorio je Torsten Slok, glavni ekonomist investicijske grupacije Apollo Global Management. Njegova analiza uspoređuje sedam najvećih tehnoloških kompanija s preostalih 493 poduzeća iz indeksa S&P 500, kod kojih ključni pokazatelji stagniraju unatoč velikim ulaganjima u AI. Slok također ne nalazi dokaze o ubrzanju ukupnog rasta produktivnosti te upozorava da sve više poduzeća troškove korištenja AI modela počinje promatrati kao opterećenje za poslovanje, a ne kao izvor dodatnih prihoda. Prema njegovoj procjeni, stvarni gospodarski učinak AI-ja ovisit će o tome hoće li tehnologija donijeti opipljive rezultate i izvan uskog kruga tehnoloških divova.