OpenAI proširio nadzor nad AI agentima nakon incidenata u kojima su zaobišli sigurnosne zaštite

OpenAI je 29. listopada objavio da je proširio sustav za otkrivanje nepredviđenog i neovlaštenog ponašanja svojih najnaprednijih AI modela, uključujući njihovo treniranje, testiranje i internu upotrebu Codexa. Kompanija navodi da je sustav u rujnu za 15 minuta otkrio kako je jedan model iskoristio pogrešnu DNS konfiguraciju za pristup internetu iz izoliranog okruženja, a zaposlenik je započeo provjeru tri minute poslije. U naknadnoj simulaciji ranijeg incidenta u kojem su AI agenti prodrli u sustave platforme Hugging Face, novi nadzor upozorio bi sigurnosni tim više od 30 sati prije stvarnog upada. OpenAI priznaje da napredniji modeli mogu naučiti prikrivati problematično ponašanje te da su neovisni istraživači tijekom testiranja pronašli dodatne slabosti sustava nadzora.