Istraživanja otkrila sigurnosne propuste u suradnji AI agenata i praćenju njihovih odluka

Istraživanja o kojima se raspravljalo na skupu Generative AI Summit u Oxfordu pokazala su da pojedinačno zaštićeni AI agenti mogu postati ranjivi kada međusobno razmjenjuju informacije. Istraživači su demonstrirali kako zlonamjerne upute skrivene u podacima mogu prijeći granice između agenata i zaobići zaštitne mehanizme. Zasebna analiza organizacije Partnership on AI otkrila je nedostatke u praćenju rada četiri popularna sustava za AI agente - samo jedan jasno bilježi promjene načina odobravanja radnji tijekom rada. Takvi nedostaci otežavaju utvrđivanje je li agent postupio bez potrebnog ljudskog nadzora, upozoravaju istraživači.