Изследователи от Принстънския университет предупреждават за агенти с изкуствен интелект с недостатъчно проучени рискове за сигурността в наскоро публикуван документ. Наречена „Реални агенти с изкуствен интелект с фалшиви спомени“, в статията се подчертава, че използването на агенти с изкуствен интелект във финансовата сфера може да бъде изключително опасно за вашите дигитални авоари. Това е така, защото тези агенти на ИИ остават уязвими към доста несложни атаки с подсказване въпреки предполагаемите предпазни мерки.

Някои Web3 експерти използват ИИ агенти, за да изграждат състоянието онлайн. Това включва предоставяне на тези ботове на достъп до криптопортфейли, интелигентни договори и работа с други онлайн финансови инструменти. Изследователите от Принстън обаче демонстрираха как могат да бъдат подведени ИИ агентите, за да пренасочат прехвърлянето на финансови активи и др.

Мнозина са наясно с подканващите атаки към LLM, за да накарат ИИ да действа по начин, който нарушава всички съществуващи предпазни мерки. През последните месеци беше извършена много работа за укрепване срещу този вектор на атака. В изследователския документ обаче се твърди, че базираните на подкани защити са недостатъчни, като хакерите постигат значителен процент успешни атаки въпреки наличието на тези защити. Злонамерените играчи могат да накарат ИИ да халюцинира по съвсем целенасочен начин, като му имплантират фалшиви спомени и по този начин създадат фалшив контекст.

За да демонстрират опасностите при използването на агенти с ИИ за действие, а не за съветване, изследователите предоставят реален пример с ИИ алгоритми, използвани в рамката ElizaOS. Екипът от Принстън предоставя подробна разбивка на своята „атака за манипулиране на контекста“ и след това валидира атаката в ElizaOS.

По-горе можете да видите визуално представяне на атаката срещу ИИ агента, което показва потока от събития, които могат да доведат до това, че потребителите търпят потенциално опустошителни загуби. Друг притеснителен факт е, че дори най-съвременните защити, базирани на подкани, не успяват да се справят с атаките на Принстън за инжектиране на памет, а тези фалшиви спомени могат да се запазят при различни взаимодействия и платформи.

„Последиците от тази уязвимост са особено сериозни, като се има предвид, че агентите на ElizaOS са проектирани да взаимодействат с множество потребители едновременно, разчитайки на споделени контекстуални данни от всички участници“, обясняват изследователите.

Какво може да се направи?

Засега потребителите могат да се въздържат да поверяват на агенти с изкуствен интелект чувствителни (от финансова гледна точка) данни и разрешения. Нещо повече, изследователите заключават, че една двустранна стратегия за „(1) усъвършенстване на методите за обучение на LLM с цел подобряване на устойчивостта на противници и (2) разработване на принципни системи за управление на паметта, които налагат строги гаранции за изолация и цялостност“ трябва да осигури първите стъпки напред.

Снимка: Unsplash/Princeton University and Sentient researchers

Виж още: Откритие на дъното на Червено море дава песимистична прогноза за наличието на живот извън планетата ни