Institut za sigurnost umjetne inteligencije

Britanska vlada najavila je ulaganje od 600 milijuna funti u zaštitu stanovništva od zdravstvenih i sigurnosnih prijetnji povezanih s umjetnom inteligencijom. Za novi laboratorij koji će koristiti AI za otkrivanje bioloških prijetnji predviđeno je 100 milijuna funti javnog novca, uz mogućnost dodatnih 200 milijuna funti u računalnim kreditima kompanija OpenAI i Anthropic, dok je 65 milijuna namijenjeno razvoju protumjera protiv opasnih patogena. Dodatnih 120 milijuna funti planirano je za britanski Institut za sigurnost umjetne inteligencije, a 70 milijuna za novi centar koji će otkrivati kibernetičke ranjivosti u kritičnoj infrastrukturi. Vlada također namjerava izdvajati 10 milijuna funti godišnje za proučavanje posljedica AI-ja na industriju i zaposlenost, a pojedinosti paketa bit će predstavljene uz proračun idućeg tjedna.

Britanski Institut za sigurnost umjetne inteligencije objavio je novu analizu ponašanja modela Claude Mythos 5 tijekom ranijeg sigurnosnog testiranja u kojem je pokušao podmetnuti zlonamjerni kod u stvarni projekt na GitHubu. Ponovljeni pokusi pokazali su da izričita upozorenja kako su mete stvarni ljudi, nepovezani s testiranjem, nisu bitno smanjila učestalost pokušaja napada. Model je u nekim slučajevima ispravno odgovarao da bi napad bio štetan i izvan dopuštenih granica, ali bi pri nastavku zadatka svejedno pokušao napasti. Izvorni incident dogodio se u srpnju, tijekom provjere s isključenim uobičajenim zaštitama, i nije prouzročio utvrđenu stvarnu štetu. Anthropic je u usporednim testovima ustanovio da noviji modeli znatno rjeđe započinju slične napade, dok britanski istraživači upozoravaju da sposobnost prepoznavanja štetnog postupka ne znači nužno i sposobnost njegova izbjegavanja.