AI prijetnja

Platforma ModelCompare objavila je 22. listopada rezultate pokusa u kojem je od 12 naprednih AI modela, uključujući GPT, Claude, Gemini i DeepSeek, zatražila njihovo najkontroverznije mišljenje o ljudima. Autori su 29 od 35 sadržajnih odgovora svrstali u zajedničku kategoriju prema kojoj ljudi često daju prednost pripadnosti skupini i društvenom statusu pred istinom i vlastitim načelima. Na forumu Hacker News dio sudionika osporio je takvo grupiranje, upozoravajući da pojedini odgovori govore o različitim pojavama. Riječ je o malom pokusu s ručnim razvrstavanjem rezultata, a ne o dokazu da različiti AI modeli imaju jedinstveno mišljenje o čovječanstvu.

Nvidijin projekt OpenShell, namijenjen ograničavanju pristupa autonomnih AI agenata datotekama, mreži i pristupnim podacima, potaknuo je 22. listopada raspravu o granicama takve zaštite na forumu Hacker News. Pojedini programeri upozoravaju da agent koji smije komunicirati s odobrenim internetskim servisima teoretski može upravo tim putem neovlašteno iznositi podatke, čak i kada su ostale veze blokirane. Jedan sudionik opisuje vlastitu uporabu posredničkih poslužitelja i ograničenih vjerodajnica, ali priznaje da još nije riješio problem mogućeg prikrivenog slanja dijelova programskog koda. Riječ je o raspravi o sigurnosnim rizicima, a ne o dokazanom proboju OpenShellove zaštite.

Velike američke banke blokiraju AI agente drugih kompanija koji pokušavaju pristupiti računima klijenata i obavljati transakcije, potvrdila su Reutersu dva izvora upoznata sa situacijom. Axios je izvijestio da su pojedini agenti pokušavali poduzimati radnje koje su izgledale neovisno o korisničkim uputama. Prema izvoru Reutersa, Morgan Stanley već blokira pristup vanjskim agentima, ali nije zabilježio slučajeve njihova neovlaštenog ili samovoljnog djelovanja. Dodatnu poteškoću predstavljaju korisnici koji agentima sami predaju prijavne podatke, zbog čega banke ne mogu svaku takvu transakciju automatski smatrati neovlaštenom.

Organizacije METR i Redwood Research objavile su rezultate neovisne provjere OpenAI-jeva sustava za nadzor AI agenata, tijekom koje su otkrile više sigurnosnih propusta. Jedna ranjivost mogla je agentima omogućiti da stotine svojih radnji sakriju od nadzora, dok je druga otvarala mogućnost da agenti Codexa zaobiđu sigurnosna ograničenja i djeluju s punim korisničkim ovlastima. Provjera je provedena od 21. srpnja do 11. kolovoza, uz pristup internom kodu, dokumentaciji i tehničkom osoblju kompanije. OpenAI tvrdi da je otkrivene ranjivosti u aktivnim zaštitnim sustavima ispravio, ali vanjski istraživači te popravke nisu neovisno provjerili.

Američki Centar za američki napredak (CAP) pozvao je Kongres da u obrambenom zakonu za 2027. zadrži ograničenja uporabe umjetne inteligencije u vojnim sustavima. Senatski prijedlog izričito zabranjuje da autonomni sustav samostalno odluči o lansiranju ili detonaciji nuklearnog oružja te zahtijeva ljudski nadzor koji omogućuje zaustavljanje sustava ako djeluje protivno zakonu ili zapovijedima. Zastupnički dom predložio je i središnji sustav prijavljivanja incidenata povezanih s vojnim AI-jem. Autorica analize Allison McManus upozorava da bi ubrzano uvođenje takvih tehnologija bez odgovarajućih provjera moglo povećati rizik pogrešnog odabira ciljeva, civilnog stradavanja i gubitka kontrole nad autonomnim sustavima. Riječ je o prijedlozima koji još nisu postali zakon.

Broj otvorenih radnih mjesta u području sigurnosti umjetne inteligencije na LinkedInu porastao je 91 posto tijekom posljednjih godinu dana, navodi Business Insider. Unatoč rastu financiranja, neprofitne istraživačke organizacije upozoravaju da im je najveća prepreka nedostatak stručnjaka, osobito zbog konkurencije velikih tehnoloških kompanija koje nude znatno veće naknade. Istraživač Rishub Jain napustio je Google DeepMind kako bi osnovao neprofitnu organizaciju Sampura Research, smatrajući da će izvan korporativnog okruženja imati više slobode za razvoj sigurnosnih metoda. Istodobno se otvaraju radna mjesta i za stručnjake iz drugih područja, uključujući kibernetičku sigurnost, javne politike i upravljanje rizicima.

Bill Gates upozorio je da bi čak i uz uspješno upravljanje umjetnom inteligencijom društvo moglo proći kroz 20 godina dubokih poremećaja. U intervjuu za The Verge kao neposredne prijetnje istaknuo je gubitak radnih mjesta, kibernetičke i biološke napade te modele kojima se mogu ukloniti sigurnosne zaštite. Smatra da postojeće metode nadzora AI sustava još nisu dovoljno razvijene, dok je oslanjanje na dobrovoljnu samoregulaciju kompanija nedostatno. Zauzima se za snažniju ulogu državnih institucija i tehničke mehanizme koji bi umjetnoj inteligenciji postavili ograničenja koja ne može samostalno zaobići.

Američka kompanija Palantir poručila je da ni ona ni američka vlada nemaju mogućnost daljinskog isključivanja sustava Maven Smart System, koji NATO koristi za obradu podataka sa satelita, radara i drugih vojnih senzora. Izvršni potpredsjednik kompanije Louis Mosley tvrdi da korisnici imaju potpunu operativnu kontrolu nad kupljenim softverom i mogu ga koristiti bez Palantirovih zaposlenika. Izjava dolazi nakon što je Ukrajina prijavila ograničenja u radu američkog satelitskog sustava Starshield, što je ponovno otvorilo pitanje europske ovisnosti o američkoj vojnoj tehnologiji. Njemačka i Francuska zasad nisu uvele Maven u vlastite oružane snage, među ostalim zbog zabrinutosti oko te ovisnosti.

Razvojni tim Pydantic AI-ja objavio je sigurnosno upozorenje zbog propusta u alatu web_fetch_tool, koji AI agentima omogućuje dohvaćanje sadržaja internetskih stranica. Posebno oblikovan HTML pod kontrolom napadača može dugo zauzeti radne procese ili iscrpiti memoriju aplikacije, a istodobni zahtjevi mogu usporiti i zadatke koji nisu povezani s napadom. Ranjivost je posebno opasna u sustavima u kojima neprovjereni korisnici mogu zadavati internetske adrese koje će agent otvoriti. Ocijenjena je sigurnosnom ocjenom 7,5 od 10, a ispravljena je u verzijama 1.107.9 i 2.59.0.

OpenAI je objavio izmjene pravila korištenja koje stupaju na snagu 20. studenoga, a prema kojima će servisi koji omogućuju izravan pristup njegovim modelima, uključujući usmjerivače modela i AI pristupna čvorišta, morati proći postupak pregleda i odobrenja. Kompanija od partnera također zahtijeva sigurnosne mjere usklađene s vlastitima, istraživanje mogućih zlouporaba i koordiniranu provedbu ograničenja pristupa. Najavljen je i sustav SafetyIDs, kojim bi se pri sigurnosnim istragama mogli razlikovati pojedini krajnji korisnici bez otkrivanja njihova identiteta OpenAI-ju. Promjene dolaze u trenutku sve šire uporabe naprednih AI modela preko neovisnih posredničkih platformi.

Obećanje da će umjetna inteligencija osloboditi zaposlenike dijela svakodnevnih obveza zasad se ne odražava u iskustvu mnogih radnika, pokazuje istraživanje WorkLife 2026 tvrtke Jabra. Među približno 6000 zaposlenika na poslovima koji se pretežno temelje na znanju u šest zemalja, 85 posto navodi da danas obavlja više barem jedne vrste posla nego godinu ranije, dok samo 35 posto prijavljuje smanjenje neke vrste aktivnosti. Gotovo polovica provodi više vremena na administraciji i koordinaciji, a 51 posto na strateškom planiranju. Rezultati se temelje na procjenama zaposlenika i ne dokazuju da je AI jedini uzrok povećanog opterećenja, ali dovode u pitanje pretpostavku da će tehnološka automatizacija sama po sebi značiti manje rada.

Izraelska sigurnosna tvrtka Hirundo objavila je rezultate testiranja Alibabina AI modela Qwen3-Coder prema kojima sigurnost generiranog programskog koda ovisi o identitetu naručitelja. U testovima izrade internetskih aplikacija ranjivosti koje omogućuju uspješan napad pronađene su u 70 posto aplikacija izrađenih za američkog obrambenog dobavljača, nasuprot 59 posto za kineskog. Model je također češće stvarao aplikacije s propustima u zaštiti podataka kada je naručitelj bila hongkonška prodemokratska organizacija. Hirundo tvrdi da je razlike uklonio vlastitom modifikacijom modela, no istraživanje zasad nema neovisnu potvrdu, a tvrtka komercijalno razvija upravo takvu tehnologiju. Rezultati sami po sebi ne dokazuju namjerno ugrađivanje ranjivosti.