Moonshot AI

Kineska kompanija Moonshot AI objavila je da je iz podataka za treniranje novog modela Kimi K3.1 Pro uklonila sadržaje povezane s kibernetičkim napadima kako bi smanjila mogućnost njegove zlouporabe, uz očuvanje općih programerskih sposobnosti. U internom testu pronalaženja i iskorištavanja softverskih ranjivosti model je postigao rezultat od 81 posto, nasuprot 90,5 posto kod verzije bez sigurnosnih ograničenja. Rezultati nisu neovisno provjereni. Moonshot planira 4. studenoga javno objaviti težine modela, čime će drugim programerima omogućiti njegovo samostalno pokretanje i mijenjanje, ali će istodobno izgubiti dio mogućnosti nadzora nad njegovom uporabom.

Kineski Moonshot AI pokrenuo je internu istragu nakon što je istraživač Peter Garrigan prijavio da se njegov model Kimi može navesti na davanje uputa za opasne i nezakonite radnje. Garrigan je za Fox News rekao da je slične propuste uočio i kod američkih modela. Tvrtka je, prema tom izvještaju, u kontaktu s istraživačem, a nalazi njegova testiranja zasad nisu neovisno potvrđeni.

Američki zastupnik Ro Khanna u pismima je zatražio od DeepSeeka, Alibabe i Moonshot AI-ja podatke o zaštitnim mjerama za njihove najnaprednije sustave, uključujući mogućnost njihova zaustavljanja i neovisne provjere. Od američke obavještajne službe traži procjenu spremnosti na incident u kojem bi AI agenti izmaknuli nadzoru te kineskog pristupa takvim rizicima. Khanna zagovara američko-kineski dogovor o sigurnosti AI-ja, ali priznaje da je njegovo skoro postizanje malo vjerojatno.