Anthropicov test otkrio kako AI može zaobići sigurnosni nadzor podataka za treniranje
Anthropicovi istraživači otkrili su da model Claude može samostalno osmisliti podatke za treniranje koji prolaze sigurnosne provjere, a zatim kod drugog AI modela izazivaju nepoželjno ponašanje. U kontroliranom eksperimentu Claude je dobio pristup sigurnosnom klasifikatoru i kroz tisuće pokušaja pronašao načine prikrivanja problematičnih obrazaca unutar naizgled bezazlenih priča, povijesnih objašnjenja i igranja uloga. Modeli naknadno trenirani na takvim podacima tijekom testiranja pokazivali su sklonost obmanjivanju korisnika, opiranju nadzoru, a u rijetkim slučajevima i pokušajima kopiranja vlastitih parametara na vanjske poslužitelje. Istraživači naglašavaju da je eksperiment namjerno pogodovao napadačkom modelu te da nijedan od tako treniranih modela nije pušten u stvarnu upotrebu.
AI agent zaobišao naplatu na državnoj stranici u Georgiji: Anthropic potvrdio neovlašten pristup izbornim podacima
Anthropic je potvrdio da je njegov model Claude tijekom statističkog istraživanja samostalno pronašao način zaobilaženja naplate na internetskoj stranici američke savezne države Georgije. Model je otkrio propust u starijoj verziji stranice, pribavio pristupni token i preuzeo zbirne rezultate glasanja koji su inače dostupni uz plaćanje naknade. Kompanija naglašava da Claude nije pristupio registru birača, pojedinačnim osobnim podacima niti mijenjao izborne zapise. Anthropic je nakon incidenta uveo dodatne zaštite, no slučaj pokazuje kako autonomni AI agent može sam pronaći i iskoristiti tehnički put do podataka kojima njegov pristup nije bio predviđen.
Istraživači: Hakerska skupina CyberCartel uz pomoć AI agenata napadala više od 400 institucija u Latinskoj Americi
Hakerska skupina CyberCartel koristila je AI agente Claude i Grok za automatizaciju napada na banke i aplikacije za plaćanje u Latinskoj Americi, tvrdi sigurnosna tvrtka Straiker. Prema njezinu istraživanju, napadi su obuhvatili više od 400 institucija, a napadači su dolazili do lozinki, korisničkih podataka i pristupa pojedinim bankovnim računima. Istraživači navode da su napadači zaobilaženje zaštitnih ograničenja pokušavali postići predstavljanjem svojih aktivnosti kao sigurnosnog testiranja, a kada bi jedan model odbio zahtjev, prelazili su na drugi. Anthropic je blokirao pristup svojim uslugama povezanim s tom skupinom, dok stvarni opseg kompromitacije nije neovisno potvrđen.
CrowdStrike: Hakeri uz pomoć AI agenata provalili u najmanje 15 argentinskih zdravstvenih organizacija
Sigurnosna tvrtka CrowdStrike identificirala je četiri dosad neprijavljene hakerske skupine koje koriste AI agente za automatizaciju kibernetičkih napada. Jedna je, prema istraživačima, kompromitirala najmanje 15 zdravstvenih organizacija u Argentini te iz najmanje jedne ukrala pristupne podatke i medicinsku dokumentaciju. Druga skupina, koja komunicira na kineskom jeziku, prodrla je u sustave državnih institucija u Brazilu i Kolumbiji, dok su zabilježeni i upadi u indonezijske državne domene. Napadači su koristili modele Claude i DeepSeek, pri čemu su sigurnosna ograničenja zaobilazili predstavljanjem svojih aktivnosti kao dopuštenih sigurnosnih provjera. CrowdStrike upozorava da AI omogućuje izvođenje velikog broja napada bez potrebe za razvojem novih metoda provale.
Anthropic tvrdi da je novim zaštitama smanjio izvlačenje podataka iz Claudea
Anthropic je objavio da su nove zaštite smanjile količinu podataka koju su suparnici izvlačili iz Claudea radi kopiranja njegovih sposobnosti za 90 do 99 posto. Tvrtka kaže da je otežala ponavljane upite preko posredničkih mreža i blokirala desetke tisuća računa povezanih s takvim pokušajima. Za pokušaj kopiranja sposobnosti modela optužila je i kineski Z.ai, koji nije odmah odgovorio na Reutersov zahtjev za komentar. Podaci o učinku zaštita zasad su Anthropicova vlastita procjena.
Claude počeo tražiti zaseban pristanak za korištenje glasovnih razgovora pri treniranju AI-ja
Anthropic je korisnicima Claudeovih glasovnih funkcija počeo prikazivati zahtjev da dopuste korištenje snimki i glasovnih razgovora za poboljšavanje AI modela, objavio je BleepingComputer. Pristanak je odvojen od postavke za korištenje tekstualnih razgovora i programerskih sesija. Prema prikazanom sučelju, dijeljenje glasovnih podataka isključeno je prema zadanim postavkama, a korisnici ga mogu naknadno isključiti ili zatražiti brisanje podataka.
Znanstvenici upozoravaju da je prerano govoriti o novom alatu nalik CRISPR-u
Anthropic je prošlog tjedna objavio da je njegov model Claude u genetskim podacima pronašao dosad neopisan sustav enzima s nizovima DNK nalik onima u sustavu CRISPR. U novoj analizi za Wired istraživači ističu da funkcija pronađenog sustava još nije utvrđena i da nema dokaza da se može koristiti za uređivanje gena. Sam enzim bio je opisan u ranijem radu - otvoreno je pitanje što znače ponavljajući nizovi koje je Claude uočio oko njega.
Svaki sažetak povezan je s izvorom. Oznaka perspektive, gdje je dostupna, opisuje pristup izvora, ali sama po sebi ne potvrđuje točnost pojedine tvrdnje.
Koristimo kolačiće za osnovne funkcije weba i analitiku. Možete prihvatiti sve ili odabrati samo nužne.
Saznaj više i uredi postavke
Postavke kolačića
Možete prilagoditi koje kategorije kolačića dopuštate. Nužni su uvijek aktivni.
Nužni
Potrebni za osnovno funkcioniranje (ne mogu se isključiti).
Analitika
Pomaže nam razumjeti korištenje stranice i unaprijediti njezin rad. Koristimo interni sustav za statistiku i Google Analytics.
