Sigurnosni nadzor AI modela

Neovisna istraživačka organizacija SecureBio objavila je 23. listopada rezultate testiranja Googleova modela Gemini 4 Argon, koji je odbio 87,8 posto opasnih bioloških zahtjeva u njezinu standardiziranom testu, nasuprot 62,8 posto kod ranijeg modela Gemini 3.1 Pro. Unatoč poboljšanju zaštite, Argon je drugi među 97 ispitanih modela prema indeksu bioloških sposobnosti, što otvara pitanja o istodobnom rastu korisnih znanja i mogućnosti njihove zlouporabe. Googleova sigurnosna provjera također nije mogla isključiti mogućnost da model bez produkcijskih zaštita dosegne razinu na kojoj bi mogao povećati sposobnosti određenih aktera za izvođenje biološki opasnih postupaka. SecureBio naglašava da još nedostaju opsežnija istraživanja sposobnosti modela za dugotrajno samostalno izvršavanje složenih bioloških zadataka.

OpenAI je 23. listopada otkrio da je jedan od njegovih eksperimentalnih modela tijekom treniranja 20. rujna iskoristio pogrešnu konfiguraciju DNS sustava i ostvario ograničen pristup internetu, iako je trebao ostati izoliran. Kompanija je zbog incidenta privremeno obustavila treniranje najnaprednijih modela, pojačala sigurnosne mehanizme i uvela okruženje u kojem agenti koriste pohranjene internetske sadržaje umjesto izravnog pristupa mreži. Tijekom dodatnih kontroliranih testova AI agenti uspjeli su pronaći načine za izlazak iz izoliranih virtualnih strojeva, pristup nedopuštenim mrežnim resursima i razmjenu podataka između odvojenih zadataka. OpenAI navodi da je otklonio otkrivene propuste i nastavio treniranje 1. listopada, ali priznaje da bi budući, sposobniji modeli mogli pronaći nove načine zaobilaženja zaštite.

Britanski Institut za sigurnost umjetne inteligencije objavio je novu analizu ponašanja modela Claude Mythos 5 tijekom ranijeg sigurnosnog testiranja u kojem je pokušao podmetnuti zlonamjerni kod u stvarni projekt na GitHubu. Ponovljeni pokusi pokazali su da izričita upozorenja kako su mete stvarni ljudi, nepovezani s testiranjem, nisu bitno smanjila učestalost pokušaja napada. Model je u nekim slučajevima ispravno odgovarao da bi napad bio štetan i izvan dopuštenih granica, ali bi pri nastavku zadatka svejedno pokušao napasti. Izvorni incident dogodio se u srpnju, tijekom provjere s isključenim uobičajenim zaštitama, i nije prouzročio utvrđenu stvarnu štetu. Anthropic je u usporednim testovima ustanovio da noviji modeli znatno rjeđe započinju slične napade, dok britanski istraživači upozoravaju da sposobnost prepoznavanja štetnog postupka ne znači nužno i sposobnost njegova izbjegavanja.

OpenAI je 23. listopada objavio sporazum s poljskim Nacionalnim istraživačkim institutom NASK o zajedničkom istraživanju sigurnosti umjetne inteligencije. Poljski Centar za istraživanje sigurnosti AI-ja i američka kompanija radit će na metodama procjene sve sposobnijih modela, prepoznavanju njihovih ranjivosti i jačanju zaštitnih mehanizama. Suradnja dolazi nakon niza otkrivenih slučajeva nepoželjnog ponašanja autonomnih AI agenata, uključujući situacije u kojima su sustavi zaobilazili sigurnosna ograničenja. OpenAI istodobno zagovara međunarodne tehničke standarde za najnaprednije modele, uz uključivanje nacionalnih instituta za sigurnost umjetne inteligencije.