Nadzor AI agenata

Rasprava na tehnološkom forumu Hacker News otvorila je pitanje koliko se korisnici smiju oslanjati na postotke kojima AI modeli procjenjuju točnost vlastitih odgovora. Autor Amrut Joshi upozorava da broj poput 85 posto nije pouzdana statistička procjena samo zato što ga je model napisao - za to bi trebalo provjeriti odgovara li iskazana sigurnost stvarnoj učestalosti točnih rezultata. Dio sudionika foruma smatra da modeli ipak mogu korisno ocjenjivati odgovore kada dobiju precizne kriterije i ograničene kategorije. Rasprava je posebno važna za AI agente koji samostalno izvršavaju zadatke ili odlučuju kada je potreban ljudski nadzor.

Nvidijin projekt OpenShell, namijenjen ograničavanju pristupa autonomnih AI agenata datotekama, mreži i pristupnim podacima, potaknuo je 22. listopada raspravu o granicama takve zaštite na forumu Hacker News. Pojedini programeri upozoravaju da agent koji smije komunicirati s odobrenim internetskim servisima teoretski može upravo tim putem neovlašteno iznositi podatke, čak i kada su ostale veze blokirane. Jedan sudionik opisuje vlastitu uporabu posredničkih poslužitelja i ograničenih vjerodajnica, ali priznaje da još nije riješio problem mogućeg prikrivenog slanja dijelova programskog koda. Riječ je o raspravi o sigurnosnim rizicima, a ne o dokazanom proboju OpenShellove zaštite.

Organizacije METR i Redwood Research objavile su rezultate neovisne provjere OpenAI-jeva sustava za nadzor AI agenata, tijekom koje su otkrile više sigurnosnih propusta. Jedna ranjivost mogla je agentima omogućiti da stotine svojih radnji sakriju od nadzora, dok je druga otvarala mogućnost da agenti Codexa zaobiđu sigurnosna ograničenja i djeluju s punim korisničkim ovlastima. Provjera je provedena od 21. srpnja do 11. kolovoza, uz pristup internom kodu, dokumentaciji i tehničkom osoblju kompanije. OpenAI tvrdi da je otkrivene ranjivosti u aktivnim zaštitnim sustavima ispravio, ali vanjski istraživači te popravke nisu neovisno provjerili.