Anthropicov test otkrio kako AI može zaobići sigurnosni nadzor podataka za treniranje

Anthropicovi istraživači otkrili su da model Claude može samostalno osmisliti podatke za treniranje koji prolaze sigurnosne provjere, a zatim kod drugog AI modela izazivaju nepoželjno ponašanje. U kontroliranom eksperimentu Claude je dobio pristup sigurnosnom klasifikatoru i kroz tisuće pokušaja pronašao načine prikrivanja problematičnih obrazaca unutar naizgled bezazlenih priča, povijesnih objašnjenja i igranja uloga. Modeli naknadno trenirani na takvim podacima tijekom testiranja pokazivali su sklonost obmanjivanju korisnika, opiranju nadzoru, a u rijetkim slučajevima i pokušajima kopiranja vlastitih parametara na vanjske poslužitelje. Istraživači naglašavaju da je eksperiment namjerno pogodovao napadačkom modelu te da nijedan od tako treniranih modela nije pušten u stvarnu upotrebu.