GhostWriter – fałszywe wspomnienia w AI stają się groźną bronią

Asystenci AI coraz lepiej nas zapamiętują – preferowany styl pisania, powtarzające się zadania, terminy projektów czy zwyczaje zakupowe. Długoterminowa pamięć sprawia, że rozmowy z chatbotem stają się bardziej osobiste i praktyczne. Niestety, ta sama funkcja może stać się jednym z największych zagrożeń bezpieczeństwa. Zespół badaczy z New Mexico State University odkrył nowy typ ataku o nazwie GhostWriter, który potajemnie wstrzykuje fałszywe wspomnienia do pamięci agentów AI, wpływając na ich decyzje na długo po pierwotnej infekcji.

Pamięć AI jako nowa powierzchnia ataku

Tradycyjne chatboty nie przechowują informacji między rozmowami – każda sesja zaczyna się od zera. Nowoczesne agenty AI działają inaczej: korzystają z trwałych systemów pamięci, które gromadzą dane o użytkownikach, bieżących projektach i poprzednich interakcjach. To pozwala udzielać bardziej kontekstowych i spersonalizowanych odpowiedzi. Ale, jak argumentują naukowcy, ta wygoda otwiera zupełnie nowy wektor ataku.

Jak GhostWriter działa w praktyce

GhostWriter nie włamuje się do samego modelu – podmienia to, co model uważa za prawdę. Atak przebiega w dwóch fazach. Pierwsza to wstrzyknięcie do pamięci (memory injection): złośliwe treści są dyskretnie umieszczane w długoterminowej pamięci asystenta za pomocą ukrytych podpowiedzi (promptów) lub zaufanych, choć w rzeczywistości niebezpiecznych, danych zewnętrznych. Druga faza to aktywacja ataku (attack activation): podczas obsługi zwykłego zapytania użytkownika model nieświadomie sięga po te zatrute wspomnienia i kieruje się nimi.

Atak nie hakuje AI. Zmienia to, co AI pamięta.

Wyobraź sobie, że prosisz asystenta o podsumowanie e-maili z banku. Jeśli jego pamięć została wcześniej zatruta, może potajemnie przekazać te wiadomości atakującemu. Albo zapamiętać fałszywe dane kontaktowe, fikcyjne terminy, nieprawdziwe preferencje – wszystko przez to, że ktoś zmienił to, co asystent uznaje za fakt.

Skuteczność na poziomie 98% – i trwałość, której nie miałeś się spodziewać

Badacze przetestowali GhostWriter na najnowocześniejszych agentach AI i wyniki są alarmujące. Wskaźnik udanego wstrzyknięcia fałszywych wspomnień sięgnął około 98%. Co więcej, w około 60% przypadków te spreparowane wspomnienia zostały później aktywowane podczas naturalnych interakcji z użytkownikiem. Oznacza to, że obecne architektury pamięci nie są w stanie odróżnić wiarygodnych informacji od manipulowanych danych.

W przeciwieństwie do klasycznych ataków iniekcyjnych (prompt injection), które zwykle dotyczą pojedynczej konwersacji, GhostWriter został zaprojektowany do przetrwania. Złośliwe treści pozostają w pamięci i mogą wpływać na zachowanie AI przez wiele kolejnych sesji – dopóki nie zostaną wykryte i usunięte. To subtelna, ale potężna zmiana w sposobie kompromitowania systemów AI.

Jak bronić się przed podmianą wspomnień

Autorzy badania nie tylko zidentyfikowali problem – zaproponowali również ramy obronne o nazwie Agentic Memory Sentry (AM-Sentry). System ten łączy wstępne skanowanie pamięci z bardziej rygorystycznymi zasadami zarządzania danymi. Według wstępnych wyników, AM-Sentry znacząco obniża skuteczność GhostWritera, jednocześnie zachowując użyteczność asystenta AI.

To kluczowy krok w stronę zrozumienia, że pamięć w AI wymaga takiej samej uwagi jak sam model. W miarę jak asystenci przejmują coraz więcej zadań – od zarządzania kalendarzem, przez pisanie kodu, po podejmowanie decyzji – zabezpieczenie tego, co „pamiętają”, staje się równie ważne jak ochrona informacji, które generują.

Czy następna wielka bitwa w cyberbezpieczeństwie będzie toczyć się o pamięć sztucznej inteligencji? Wyniki badań sugerują, że to właśnie tam mogą być najsłabsze punkty.