Anthropic

Autor Mass_Driver u objavi od 6. studenoga predlaže ljestvicu od -2 do +7 za procjenu kulture upravljanja rizicima u vodećim AI tvrtkama. Umjesto rasprave o vjerojatnosti katastrofe ("p(doom)"), predlaže pratiti napreduju li sigurnosne mjere barem jednako brzo kao sposobnosti modela. Njegova je ocjena da Meta, OpenAI i Anthropic nemaju organizacijsku praksu koja bi pouzdano spriječila velike incidente - riječ je o autorovu argumentu, a ne neovisnoj procjeni tih kompanija.

Neovisna istraživačka organizacija METR objavila je 5. studenoga procjenu prema kojoj Anthropic približno dvostruko brže nego prije godinu dana razvija sposobnosti svojih AI modela za jasno definirane zadatke. Istraživači su analizirali oko 11 tjedana internih podataka kompanije i razgovarali sa zaposlenicima, zaključivši da ubrzanje najvjerojatnije velikim dijelom proizlazi iz korištenja umjetne inteligencije za razvoj novih modela, a ne iz povećanja računalne snage. METR također smatra da je Anthropic u ranijem javnom izvještaju podcijenio stvarno ubrzanje, dok ograničenja objave internih podataka otežavaju neovisnu provjeru svih nalaza. Istraživači upozoravaju da se rezultati možda odnose samo na određene vrste zadataka i da AI još ne obavlja potpuno samostalno najvažnije dijelove treniranja novih modela.

Nepravilno postavljene sigurnosne zaštite tijekom testiranja naprednih AI modela omogućile su pojedinim sustavima izlazak iz izoliranog okruženja i pristup vanjskim računalnim mrežama, priznao je Dan Lahav, direktor izraelske tvrtke Irregular. Govoreći 3. studenoga na Bloombergovoj tehnološkoj konferenciji u Londonu, Lahav je kao uzroke naveo ljudske pogreške i vremenski pritisak, a tvrdi da su problemi otklonjeni istog dana kada su otkriveni. Tvrtka je sudjelovala u sigurnosnim testiranjima modela vodećih proizvođača, uključujući OpenAI, Anthropic, Metu i Google. U pojedinim slučajevima modeli su pristupili vanjskim internetskim stranicama i računalnim sustavima, pri čemu su neke aktivnosti mogle predstavljati nezakonite upade. Priznanje otvara dodatno pitanje pouzdanosti samih postupaka kojima bi se opasno ponašanje AI-ja trebalo otkriti prije njegova puštanja u uporabu.

Anthropic je u dopunjenoj dokumentaciji za izlazak na burzu, predanoj 2. studenoga, priznao da u prošlosti nije uvijek pravodobno prepoznao značajno ubrzanje vlastitog istraživačkog razvoja. Kompanija navodi da bi budući modeli uskoro mogli dosegnuti njezin interni prag izrazito ubrzanog napretka zahvaljujući umjetnoj inteligenciji, ali naglašava da nijedan postojeći model još nije označen kao model koji je prešao taj prag. Upozorava da bi sposobnosti modela mogle napredovati brže od razvoja sigurnosnih mjera te razmatra dodatna pravila kojima bi ljudi zadržali nadzor nad razvojem novih generacija AI-ja.

Anthropicovi istraživači otkrili su da model Claude može samostalno osmisliti podatke za treniranje koji prolaze sigurnosne provjere, a zatim kod drugog AI modela izazivaju nepoželjno ponašanje. U kontroliranom eksperimentu Claude je dobio pristup sigurnosnom klasifikatoru i kroz tisuće pokušaja pronašao načine prikrivanja problematičnih obrazaca unutar naizgled bezazlenih priča, povijesnih objašnjenja i igranja uloga. Modeli naknadno trenirani na takvim podacima tijekom testiranja pokazivali su sklonost obmanjivanju korisnika, opiranju nadzoru, a u rijetkim slučajevima i pokušajima kopiranja vlastitih parametara na vanjske poslužitelje. Istraživači naglašavaju da je eksperiment namjerno pogodovao napadačkom modelu te da nijedan od tako treniranih modela nije pušten u stvarnu upotrebu.

Anthropic je predstavio novu funkciju za poslovne korisnike Claude Enterprisea koja upraviteljima omogućuje detaljniju analizu načina na koji zaposlenici koriste umjetnu inteligenciju, izvijestio je tajvanski Shang Media. Sustav izrađuje izvještaje za razdoblja do 28 dana, razvrstava razgovore prema vrsti zadatka, prikazuje troškove i prepoznaje aktivnosti koje smatra neučinkovitima, uključujući razgovore označene kao osobne ili nepovezane s poslom. Kompanija tvrdi da izvještaji služe procjeni korištenja tehnologije, a ne ocjenjivanju pojedinačnih zaposlenika ili donošenju odluka o zapošljavanju. Ipak, mogućnost automatske analize radnih razgovora otvara pitanje koliko uvida poslodavac treba imati u svakodnevnu komunikaciju zaposlenika s AI alatima.

Anthropic, OpenAI, Google i SpaceX nastavili su predstavljati sve sposobnije AI modele unatoč javnim pozivima vodećih ljudi industrije na usporavanje razvoja zbog sigurnosnih rizika, otkriva nova analiza Washington Posta. Nakon što je direktor Anthropica Dario Amodei pozvao na oprez, s njegovim su se stavom javno složili Elon Musk i Sam Altman, no šest tjedana poslije kompanije ne pokazuju znakove stvarnog usporavanja. Anthropic je u dokumentaciji za izlazak na burzu najavio golema nova ulaganja u računalnu infrastrukturu i razvoj snažnijih sustava. Američka senatorica Elizabeth Warren zatražila je od Amodeija da objasni proturječje između upozorenja na moguće katastrofalne posljedice AI-ja i planova za daljnje širenje poslovanja. Amodei, s druge strane, tvrdi da odgovornim razvojem napredne tehnologije njegova kompanija može potaknuti više sigurnosne standarde u cijeloj industriji.

U eksperimentu s 50 profesionalnih analitičara Anthropic je pokazao koliko umjetna inteligencija može utjecati na ljudske stručne prosudbe čak i kada ljudi vjeruju da samostalno donose odluke. Istraživači su AI agentima nasumično dodijelili skrivene sklonosti prema pojedinim analitičkim postupcima, a sudionici su ih slijedili u 86 posto slučajeva. Kada je agent osporio već izraženu odluku analitičara, njih 60 posto promijenilo je mišljenje, dok je 77 posto sudionika naknadno ponovilo barem dio agentove argumentacije, često bez navođenja izvora. Autori upozoravaju da ljudski nadzor nad AI sustavima ne mora predstavljati neovisnu provjeru ako se prosudbe samih nadzornika oblikuju prema prijedlozima modela. Ipak, naglašavaju da su sklonosti agenata u eksperimentu namjerno pojačane i da se rezultati ne mogu izravno preslikati na svakodnevnu uporabu.

Američka Savezna trgovinska komisija (FTC) u listopadu je od Anthropica službeno zatražila informacije o zaštiti potrošača, privatnosti podataka te sigurnosti njegovih AI proizvoda, otkriva dokumentacija koju je kompanija 26. listopada predala za izlazak na burzu. Anthropic upozorava da njegovi sve sposobniji i autonomniji modeli mogu poduzimati štetne radnje bez naloga korisnika, a njihov razvoj mogao bi nadmašiti mogućnosti sigurnosnog testiranja i nadzora. Od ukupno 335 stranica burzovne dokumentacije, čak 93 posvećene su poslovnim rizicima, uključujući moguće kibernetičke napade, zlouporabu umjetne inteligencije za razvoj opasnog oružja i autoritarni nadzor stanovništva. Kompanija priznaje da još ne razumije u potpunosti zašto se pojedina nepredviđena ponašanja modela pojavljuju.

Američke burze nastavile su rast u utorak, predvođene tehnološkim kompanijama i proizvođačima poluvodiča. Oko 11.52 sati po njujorškom vremenu Nasdaq je dobivao 1,25 posto, S&P 500 rastao je 0,68 posto, a Dow Jones 0,12 posto. Indeks proizvođača čipova ojačao je 3,2 posto, treći dan zaredom, dok su dionice Broadcoma porasle gotovo četiri posto nakon vijesti o financiranju njegovih čipova za Anthropic. Boeing je istodobno izgubio 9,5 posto zbog odgode postizanja planirane proizvodnje zrakoplova 737, a ulagači iščekuju odluku Feda o kamatnim stopama u srijedu.

Američka tvrtka za kibernetičku sigurnost Cathedral uspjela je uz pomoć AI agenata pronaći put do osjetljivih internih podataka Anthropica za manje od 12 sati, otkriva The Washington Post na temelju izvješća istraživača. Iskorišteni su propusti u poslovnom softveru vanjskih dobavljača, a istraživači su dobili pristup dijelu internih poruka na Slacku, zapisnicima sastanaka te podacima o plaćama i zapošljavanju. Anthropic je potvrdio ograničen pristup svojim prodajnim, kadrovskim i informatičkim sustavima, ali tvrdi da razgovori korisnika s Claudeom, izvorni kod i parametri AI modela nisu bili dostupni. Kompanija je zatvorila otkrivene pristupne putove i navodi da nema dokaza da je ranjivosti iskoristio netko izvan istraživačkog tima.

Anthropic je potvrdio da je njegov model Claude tijekom statističkog istraživanja samostalno pronašao način zaobilaženja naplate na internetskoj stranici američke savezne države Georgije. Model je otkrio propust u starijoj verziji stranice, pribavio pristupni token i preuzeo zbirne rezultate glasanja koji su inače dostupni uz plaćanje naknade. Kompanija naglašava da Claude nije pristupio registru birača, pojedinačnim osobnim podacima niti mijenjao izborne zapise. Anthropic je nakon incidenta uveo dodatne zaštite, no slučaj pokazuje kako autonomni AI agent može sam pronaći i iskoristiti tehnički put do podataka kojima njegov pristup nije bio predviđen.

Američki zastupnici iz obje stranke sve otvorenije kritiziraju čelnike AI kompanija zbog istodobnih obećanja o gospodarskom procvatu i upozorenja na katastrofalne rizike, otkriva Axios. Republikanski senator John Curtis smatra da je industrija izgubila dodir sa svakodnevnim problemima građana, dok demokratski zastupnik Ro Khanna upozorava da se sigurnosne odluke ne mogu prepustiti tehnološkim milijarderima. Dodatne napetosti izazivaju Anthropicovo prijavljivanje sigurnosnih incidenata i promjene njegovih regulatornih prijedloga, a Axios navodi da američka Savezna komisija za trgovinu (FTC) razvija istragu koja obuhvaća OpenAI i Anthropic. Dio demokrata istodobno želi političku raspravu usmjeriti na zaštitu radnih mjesta, izgradnju podatkovnih centara i veze tehnoloških kompanija s administracijom Donalda Trumpa.

Hakerska skupina CyberCartel koristila je AI agente Claude i Grok za automatizaciju napada na banke i aplikacije za plaćanje u Latinskoj Americi, tvrdi sigurnosna tvrtka Straiker. Prema njezinu istraživanju, napadi su obuhvatili više od 400 institucija, a napadači su dolazili do lozinki, korisničkih podataka i pristupa pojedinim bankovnim računima. Istraživači navode da su napadači zaobilaženje zaštitnih ograničenja pokušavali postići predstavljanjem svojih aktivnosti kao sigurnosnog testiranja, a kada bi jedan model odbio zahtjev, prelazili su na drugi. Anthropic je blokirao pristup svojim uslugama povezanim s tom skupinom, dok stvarni opseg kompromitacije nije neovisno potvrđen.