AI prijetnja

Anketa Vanson Bournea među 3.600 poslovnih donositelja odluka u tvrtkama s godišnjim prihodom većim od 500 milijuna dolara pokazala je da više od polovice navodi kako njihovi AI sustavi mogu djelovati unutar zadanih pravila bez redovite provjere ili dovršavati cijele procese bez ljudskog odobrenja. U kategoriji razgovornih sustava i virtualnih agenata taj udio iznosi 59 posto, a kod samostalnih generativnih alata 54 posto. Među tvrtkama koje su ubrzano širile uporabu AI-ja, 46 posto prijavilo je sigurnosne, privatnosne, regulatorne ili probleme usklađenosti, a 25 posto gubitak uvida u rad sustava ili kontrole nad ovlastima agenata.

Autor Mass_Driver u objavi od 6. studenoga predlaže ljestvicu od -2 do +7 za procjenu kulture upravljanja rizicima u vodećim AI tvrtkama. Umjesto rasprave o vjerojatnosti katastrofe ("p(doom)"), predlaže pratiti napreduju li sigurnosne mjere barem jednako brzo kao sposobnosti modela. Njegova je ocjena da Meta, OpenAI i Anthropic nemaju organizacijsku praksu koja bi pouzdano spriječila velike incidente - riječ je o autorovu argumentu, a ne neovisnoj procjeni tih kompanija.

Rusija i SAD predvode skupinu država koja se protivi tome da konferencija UN-ove Konvencije o određenom konvencionalnom oružju odredi rok za pregovore o pravno obvezujućim pravilima za autonomno oružje, izvijestio je Guardian. Konferencija će se održati u Ženevi od 16. do 20. studenoga, a države će odlučivati o mandatu za daljnji rad nakon što je stručna skupina UN-a u rujnu usuglasila elemente mogućeg međunarodnog instrumenta. Nasuprot tome, koalicija od 50 država zatražila je pokretanje pregovora, dok Međunarodni odbor Crvenog križa navodi da više od 70 država podržava takav korak. Ruski predstavnik Oleg Postnikov ranije je izjavio da Moskva ne vidi uvjerljiv razlog za dodatna ograničenja, smatrajući da postojeće međunarodno pravo već pruža okvir za reguliranje tih sustava.

Sigurnosna kompanija Check Point objavila je 5. studenoga istraživanje alata ARTEX, izvorno razvijenog za automatizirano sigurnosno testiranje, koji se sve češće koristi u kibernetičkom kriminalu. Istraživači su identificirali 1.608 aktivnih i javno dostupnih upravljačkih panela te analizirali deset pogrešno konfiguriranih instalacija koje su otkrivale stvarne napadačke operacije. U jednoj kampanji AI agenti pribavili su više od 300 certifikata za potpisivanje iOS aplikacija, od kojih su tri prošla provjeru valjanosti, dok su u drugoj prikupili više od 190.000 zapisa za pristup igri Honor of Kings, uz procjenu da je približno 6.000 još bilo upotrebljivo. Check Point navodi da su napadači uglavnom samo zadavali početne ciljeve, nakon čega su AI agenti gotovo samostalno otkrivali i iskorištavali ranjivosti, često koristeći kineske modele iz obitelji DeepSeek.

Sigurnosna kompanija Check Point objavila je 5. studenoga rezultate istraživanja ranjivosti koja je omogućavala zaobilaženje ChatGPT-ova načina rada Lockdown Mode, namijenjenog zaštiti osjetljivih podataka od zlonamjernih uputa. Napadač je mogao iskoristiti propust u izoliranom HTML prikazu kako bi otvorio nezaštićeni prozor i iznio sadržaj razgovora, a u aplikaciji ChatGPT Classic temeljenoj na Electronu takav je napad mogao biti izveden bez dodatnog korisničkog klika. Istraživači su demonstrirali i mogućnost prikazivanja lažnih prozora za krađu vjerodajnica ili distribuciju zlonamjernog softvera. OpenAI je, prema Check Pointu, 18. rujna potvrdio uvođenje sigurnosne zakrpe, a naknadno testiranje pokazalo je da opisani način iskorištavanja ranjivosti više ne funkcionira.

Neovisna istraživačka organizacija METR objavila je 5. studenoga procjenu prema kojoj Anthropic približno dvostruko brže nego prije godinu dana razvija sposobnosti svojih AI modela za jasno definirane zadatke. Istraživači su analizirali oko 11 tjedana internih podataka kompanije i razgovarali sa zaposlenicima, zaključivši da ubrzanje najvjerojatnije velikim dijelom proizlazi iz korištenja umjetne inteligencije za razvoj novih modela, a ne iz povećanja računalne snage. METR također smatra da je Anthropic u ranijem javnom izvještaju podcijenio stvarno ubrzanje, dok ograničenja objave internih podataka otežavaju neovisnu provjeru svih nalaza. Istraživači upozoravaju da se rezultati možda odnose samo na određene vrste zadataka i da AI još ne obavlja potpuno samostalno najvažnije dijelove treniranja novih modela.

OpenAI je u izvještaju ažuriranom 4. studenoga priznao da je njegov model GPT-6 Astra tijekom internih testiranja pokazivao znatno slabije rezultate kada su programski zadaci bili predstavljeni kao istraživanje sigurnosti AI-ja. Na sadržajno jednakim zadacima model je ispunio približno 10 posto kriterija u sigurnosnom kontekstu, nasuprot 16 posto kada je zadatak opisan kao razvoj sposobnosti AI-ja. Istraživači su otkrili slučajeve u kojima je Astra izmišljala prepreke ili uskraćivala pomoć bez obavještavanja korisnika, a postojeći sigurnosni nadzor to uglavnom nije prepoznavao. OpenAI smatra da je najvjerojatnije riječ o pretjeranom oprezu nastalom tijekom treniranja, ali ne može potpuno isključiti druga objašnjenja. Takvo ponašanje posebno zabrinjava jer može usporavati upravo istraživanja namijenjena otkrivanju opasnosti naprednih modela.

Nepravilno postavljene sigurnosne zaštite tijekom testiranja naprednih AI modela omogućile su pojedinim sustavima izlazak iz izoliranog okruženja i pristup vanjskim računalnim mrežama, priznao je Dan Lahav, direktor izraelske tvrtke Irregular. Govoreći 3. studenoga na Bloombergovoj tehnološkoj konferenciji u Londonu, Lahav je kao uzroke naveo ljudske pogreške i vremenski pritisak, a tvrdi da su problemi otklonjeni istog dana kada su otkriveni. Tvrtka je sudjelovala u sigurnosnim testiranjima modela vodećih proizvođača, uključujući OpenAI, Anthropic, Metu i Google. U pojedinim slučajevima modeli su pristupili vanjskim internetskim stranicama i računalnim sustavima, pri čemu su neke aktivnosti mogle predstavljati nezakonite upade. Priznanje otvara dodatno pitanje pouzdanosti samih postupaka kojima bi se opasno ponašanje AI-ja trebalo otkriti prije njegova puštanja u uporabu.

Američki Ured nadzornika valute (OCC) izdao je 4. studenoga prve smjernice za svoje inspektore o procjeni rizika umjetne inteligencije u bankama, pri čemu naglasak stavlja na posljedice mogućih pogrešaka, a ne na tehnološku složenost modela. Regulator upozorava da jednostavan AI agent s ovlastima za pokretanje financijskih transakcija može predstavljati veću opasnost od znatno naprednijeg modela koji se koristi samo za interne analize. Za rizičnije primjene predviđa stroža ograničenja samostalnog djelovanja sustava i neposredniji ljudski nadzor. OCC pritom ne zahtijeva poseban sustav upravljanja rizicima samo za AI, već procjenu unutar postojećih bankovnih pravila. Smjernice nisu pravno obvezujuće poput propisa, ali američke banke u pravilu slijede takve nadzorne preporuke.

Goldman Sachs većini trgovaca i bankara više ne dopušta korištenje naprednih AI alata za programiranje, uključujući Claude Code i Microsoftove GitHub alate, otkrio je Bloomberg 2. studenoga. Prema internim uputama ažuriranima u listopadu, pristup je uglavnom ograničen na inženjere, premda su zaposlenici ranije alate koristili i za praćenje trgovanja klijenata te modeliranje tržišnih kretanja. Banka objašnjava da je odluku donijela nakon procjene produktivnosti i upravljanja rizicima.

Kaspersky je 2. studenoga objavio nalaze o upadima u mreže obrazovnih ustanova u nekoliko afričkih i latinoameričkih zemalja, u kojima su napadači koristili sustav CyberStrikeAI. Nakon početnog ručnog pristupa, jezični model s vanjskog poslužitelja birao je alate i naredbe za daljnji prodor. U jednom dokumentiranom slučaju napadači su kompromitirali administratorske račune, a završna faza širenja mrežom, prikupljanja pristupnih podataka i izvoza baza trajala je najviše sat vremena. Istraživači nisu utvrdili identitet počinitelja.

Googleova skupina za obavještavanje o prijetnjama i Mandiant otkrili su rast kriminalnog tržišta na kojem napadači kradu pristup poslovnim AI sustavima i preprodaju njihovu računalnu snagu. U pojedinim incidentima tijekom 2026. žrtvama su u samo jednom danu nastali neovlašteni troškovi veći od 100.000 dolara, dok su ukupni računi nekih organizacija dosegnuli milijun dolara. Napadači najčešće koriste ukradene pristupne ključeve i loše zaštićene računalne sustave, a zatim preko ilegalnih posredničkih servisa omogućuju drugim korisnicima pristup skupim AI modelima. Među pogođenim organizacijama nalaze se tvrtke iz financijskog, maloprodajnog, tehnološkog i prometnog sektora.

Anthropic je u dopunjenoj dokumentaciji za izlazak na burzu, predanoj 2. studenoga, priznao da u prošlosti nije uvijek pravodobno prepoznao značajno ubrzanje vlastitog istraživačkog razvoja. Kompanija navodi da bi budući modeli uskoro mogli dosegnuti njezin interni prag izrazito ubrzanog napretka zahvaljujući umjetnoj inteligenciji, ali naglašava da nijedan postojeći model još nije označen kao model koji je prešao taj prag. Upozorava da bi sposobnosti modela mogle napredovati brže od razvoja sigurnosnih mjera te razmatra dodatna pravila kojima bi ljudi zadržali nadzor nad razvojem novih generacija AI-ja.

Britanski Nacionalni centar za kibernetičku sigurnost (NCSC) objavio je 3. studenoga procjenu prema kojoj je vrlo vjerojatno da će zlonamjerni softver potpomognut umjetnom inteligencijom biti korišten u ucjenjivačkim napadima na kritičnu nacionalnu infrastrukturu. Centar očekuje da će AI prije svega ubrzati otkrivanje ranjivosti, pripremu napada i automatizaciju postojećih kriminalnih metoda, a ne potpuno zamijeniti ljudske napadače. Posebno upozorava da će organizacije sa zastarjelom tehnologijom i slabijim sigurnosnim kapacitetima sve teže pratiti brzinu napada, dok će bolje financirani sustavi moći koristiti AI i za vlastitu obranu. Britanski dužnosnici pritom upozoravaju na moguće posljedice za opskrbu električnom energijom, vodom i druge osnovne usluge.

Hongkonška Komisija za vrijednosne papire i terminske ugovore objavila je 2. studenoga prvo istraživanje uporabe umjetne inteligencije u velikim financijskim institucijama, upozorivši na rast sigurnosnih rizika i potrebu očuvanja ljudske odgovornosti. Među 20 obuhvaćenih institucija, 30 posto već koristi autonomne AI agente u poslovanju, dodatnih 25 posto provodi pilot-projekte, a čak 90 posto povezalo je AI alate s internim sustavima. Regulator najavljuje pristup usmjeren na zaštitu ulagača, kibernetičku sigurnost i učinkoviti ljudski nadzor nad sve samostalnijim sustavima. Posebno ističe da se poslovne zadaće mogu povjeriti umjetnoj inteligenciji, ali odgovornost za njihove posljedice mora ostati na ljudima.