Upozorenje iz AI zajednice: modeli bi mogli zaključivati skriveno, izvan dosega sustava za nadzor

Autor pod imenom Skye upozorio je 24. listopada na istraživačkom forumu LessWrong da određene arhitekture umjetne inteligencije mogu otežati nadzor nad načinom na koji modeli donose odluke. Kao primjere navodi pristupe COCONUT i Full-bandwidth Transformers, koji omogućuju prenošenje unutarnjih stanja između koraka obrade bez nužnog pretvaranja zaključivanja u čitljiv tekst. Prema njegovoj procjeni, takav pristup mogao bi omogućiti modelu da korisniku prikazuje jedan tijek odgovora dok složenije zaključivanje ostaje skriveno od nadzornih alata. Riječ je o upozorenju na mogući sigurnosni problem, a ne dokazu da postojeći komercijalni modeli na taj način prikrivaju namjere. Autor poziva AI kompanije da javno otkriju koriste li arhitekture koje omogućuju takvo skriveno zaključivanje.