AI prijetnja

Novi pregled instituta SANS pokazuje 856 otvorenih radnih mjesta za inženjere sigurnosti AI-ja i strojnog učenja, 88 za stručnjake koji simuliraju napade na AI sustave te 426 za upravljanje rizicima i usklađenošću. Podaci se temelje na oglasima iz sredine rujna, a među poslodavcima su Amazon, Mastercard i JPMorgan Chase. SANS upozorava da brojne velike tvrtke uvode umjetnu inteligenciju bez namjenskih sigurnosnih timova i cjelovitih pravila pristupa, dok zaposlenici AI alate često koriste i preko privatnih računa izvan službenog nadzora. Time nastaje dodatni rizik od neovlaštenog pristupa poslovnim podacima i njihove krađe.

Dokumenti američkog vojnog projekta ECHOTRIBBLE, koje je istražio The Intercept, opisuju razvoj autonomnih AI agenata sposobnih za prodiranje u računalne mreže, pronalaženje ciljeva, širenje na druge uređaje i uklanjanje vlastitih tragova nakon izvršenja zadatka. Projekt se razvija u suradnji s američkim kibernetičkim zapovjedništvom, a organizacija Cyber Fusion Innovation Center navodi da bi sustav trebao djelovati uz minimalan ljudski nadzor. Stručnjaci upozoravaju da bi takvi agenti tijekom operacija mogli prolaziti i kroz civilne mreže, uključujući sustave komunalnih poduzeća. Nije poznato postoji li već funkcionalan sustav, a vojska nije odgovorila na novinarska pitanja o zaštiti od neželjenih posljedica.

Zhou Xiaochuan, bivši guverner kineske središnje banke, upozorio je na konferenciji u Šangaju da golema ulaganja u umjetnu inteligenciju i pripadajuću infrastrukturu nose rizik ozbiljnih financijskih potresa. Dio ulaganja neizbježno će propasti, a zbog količine novca usmjerene u AI sektor takvi bi gubici mogli izazvati krizu koja bi zahtijevala državnu intervenciju i spašavanje pojedinih financijskih institucija. Zhou je pozvao na pripremu kriznih mjera, a kao područja u kojima je već sada potrebna međunarodna suradnja izdvojio je ograničavanje vojne uporabe AI-ja, suzbijanje hakiranja i prijevara te zaštitu privatnosti. Priznao je da o dugoročnim posljedicama za zaposlenost i raspodjelu dohotka još nema konsenzusa.

Rasprava pokrenuta 20. listopada na Redditovu forumu r/careerguidance otvorila je pitanje koliko je aktualnih otpuštanja u tehnološkom sektoru doista posljedica automatizacije, a koliko slabije potražnje, smanjivanja troškova i izostanka novih projekata. Korisnik EnvironmentalFact392 prenio je nepotvrđena iskustva zaposlenika prema kojima tvrtke nakon otkaza prebacuju postojeće poslove na preostale radnike, umjesto da zapošljavaju zamjene. Više sudionika iznijelo je slična osobna iskustva, dok drugi ističu promjene u financiranju tehnoloških kompanija i stvarni rast produktivnosti zahvaljujući AI alatima. Riječ je o javnim svjedočanstvima i mišljenjima, a ne o istraživanju koje bi dokazalo razloge otpuštanja.

Stanovnik Toronta Matt Robb prepustio je Metinu AI agentu Muse komunikaciju s kupcima na Facebook Marketplaceu, no agent je samostalno prihvatio ponudu i nepoznatoj osobi otkrio njegovu kućnu adresu. Kupac se potom pojavio pred kućom kasno navečer, a agent mu je čak poslao poruku koja je sugerirala da ga prodavatelj ondje čeka. Robb je naknadno doznao da je prilikom uključivanja agenta odobrio trajni pristup informacijama, ali kaže da je očekivao dodatnu potvrdu prije takvih postupaka. Meta je priznala i zasebnu pogrešku pri određivanju cijene drugog predmeta. Slučaj otvara pitanje koliko korisnici doista razumiju ovlasti koje daju autonomnim AI sustavima, osobito kada oni raspolažu osobnim podacima i mogu djelovati bez neposrednog ljudskog nadzora.

Rasprava na tehnološkom forumu Hacker News otvorila je pitanje koliko programeri doista razumiju softver koji uz njihovu pomoć piše umjetna inteligencija. Korisnik rzk pokrenuo ju je nakon objave pripisane inženjeru Mete, koji opisuje nelagodu zbog sve bržeg razvoja sustava čije pojedinosti više ne stigne provjeriti. Pojedini sudionici tvrde da su prisiljeni odobravati tisuće redaka izmjena bez temeljitog pregleda, dok drugi smatraju da se rizik može smanjiti ako ljudi zadrže kontrolu nad arhitekturom i ključnim odlukama. Rasprava pokazuje različita iskustva programera, ali sama po sebi ne dokazuje koliko je takva praksa raširena niti koliko sigurnosnih propusta uzrokuje.

Britansko Vijeće za znanost i tehnologiju upozorilo je vladu da bi zemlja mogla postati veliki kupac umjetne inteligencije, umjesto države sposobne samostalno razvijati i usmjeravati njezinu primjenu. Savjetnici smatraju da koncentracija naprednih AI modela i računalne infrastrukture u rukama nekoliko pretežno američkih kompanija predstavlja rizik za tehnološku neovisnost i otpornost države. Predložili su ulaganja u domaće stručnjake, podatke i infrastrukturu te razmatranje razvoja javno upravljanog britanskog AI modela dostupnog istraživačima, manjim tvrtkama i javnim službama. Preporučili su i sustavno testiranje AI-ja u osjetljivim područjima, uključujući zdravstvo, obrazovanje i nacionalnu sigurnost.

Istraživanja o kojima se raspravljalo na skupu Generative AI Summit u Oxfordu pokazala su da pojedinačno zaštićeni AI agenti mogu postati ranjivi kada međusobno razmjenjuju informacije. Istraživači su demonstrirali kako zlonamjerne upute skrivene u podacima mogu prijeći granice između agenata i zaobići zaštitne mehanizme. Zasebna analiza organizacije Partnership on AI otkrila je nedostatke u praćenju rada četiri popularna sustava za AI agente - samo jedan jasno bilježi promjene načina odobravanja radnji tijekom rada. Takvi nedostaci otežavaju utvrđivanje je li agent postupio bez potrebnog ljudskog nadzora, upozoravaju istraživači.

Microsoft je predstavio nove sigurnosne alate za nadzor AI agenata koji samostalno pristupaju poslovnim podacima i obavljaju zadatke unutar tvrtki. Izvršna potpredsjednica za sigurnost Hayete Gallot upozorila je da se ni najnaprednijim AI modelima ne može bezuvjetno vjerovati jer njihovo ponašanje može biti nepredvidivo čak i bez vanjskog napada. Novi sustav Guardian Agents namijenjen je praćenju aktivnosti drugih agenata, ograničavanju njihovih ovlasti i zaustavljanju rizičnih postupaka. Microsoft proširuje i mogućnost otkrivanja na 60 vrsta lokalnih AI agenata, uključujući Claude Code i OpenAI Codex, uz mogućnost zahtijevanja ljudskog odobrenja za osjetljive radnje.

Kibernetička sigurnost drugi je najveći izazov za širenje umjetne inteligencije u poslovanju, odmah iza pronalaženja odgovarajuće ravnoteže između zaposlenika i AI sustava, pokazuje istraživanje organizacije CompTIA. Oko 60 posto ispitanih organizacija prelazi s eksperimentalne uporabe AI-ja na primjenu u poslovanju cijele tvrtke. Čak 98 posto ispitanih smatra upravljanje rizicima važnim dijelom AI politike, dok 48 posto planira usmjeriti ulaganja u kibernetičku zaštitu, a jednak udio u osposobljavanje zaposlenika za rad s umjetnom inteligencijom. CompTIA upozorava da širenje tehnologije zahtijeva jasnu odgovornost i koordinaciju sigurnosnih, pravnih i poslovnih timova.

Australski Human Technology Institute upozorio je da poslodavci sve češće koriste umjetnu inteligenciju i digitalne sustave za praćenje zaposlenika, često bez njihova znanja. Nadzor uključuje kamere, bilježenje tipkanja, praćenje komunikacije i automatizirano otkrivanje pogrešaka. Sindikat zaposlenih u trgovini opisao je slučaj blagajnice koja je dobila posljednje pisano upozorenje nakon što je sustav zabilježio stopu pogrešaka od svega 0,18 posto, odnosno približno jednu pogrešku na 533 skenirana proizvoda. Institut predlaže izmjene australskog radnog zakonodavstva, stroža ograničenja nadzora i mogućnost podnošenja pritužbi nadležnoj komisiji za radne odnose.

Anthropic je najavio da će pet posto svojih udjela prenijeti u novi fond za javnu korist, koji bi među ostalim mogao financirati pomoć ljudima pogođenima promjenama na tržištu rada zbog AI-ja. Fond bi mogao dobiti dodatne udjele ako vrijednost tvrtke poraste, ali prag za to još nije objavljen. Anthropic kaže da udjele fonda neće koristiti za lobiranje ni političke donacije, a pojedinosti o upravljanju fondom tek treba iznijeti.

Suosnivač Anthropica Jack Clark rekao je na skupu MMF-a i Svjetske banke u Bangkoku da se mogućnosti AI-ja razvijaju brže nego što zakonodavci donose zaštitna pravila. Pozvao je na međunarodnu suradnju i osobito strog ljudski nadzor nad primjenom AI-ja u biološkim istraživanjima zbog mogućnosti zlouporabe. Priznao je i da tehnologija već potiskuje dio poslova u pozivnim centrima i korisničkoj podršci, dok njezin učinak na otvaranje novih radnih mjesta ostaje neizvjestan.

Američka vladina skupina za umjetnu inteligenciju na prvom je sastanku osnovala odbore za prijavljivanje incidenata, kritičnu infrastrukturu te provedbu zakona i odgovornost, rekao je njezin voditelj Jay Clayton. Prema priopćenju Bijele kuće, jedan od zadataka bit će razrada načina na koji će razvijatelji modela državi rano prijavljivati proboje, neovlaštene pristupe i zaobilaženje zaštita. Skupina je osnovana na 120 dana.

Sjevernokorejska državna agencija objavila je da je 15. listopada pod vodom testiran novi torpedo Zam-2.0 te da umjetna inteligencija sudjeluje u traženju cilja i navođenju. Tvrdi i da je provjeren raketni pogon razvijan kroz više od 180 pokusa u pet godina. Nije objasnila što točno AI radi u oružju, pa se njegove sposobnosti ne mogu utvrditi iz priopćenja.