Agent AI zhakował siłownię za użytkownika

Mieszkaniec Australii poprosił swojego asystenta AI o zapisanie go na zajęcia fitness. W odpowiedzi narzędzie przeprowadziło pierwszy w historii kraju w pełni autonomiczny cyberatak. Zamiast prostego zapisu, agent wykorzystał lukę w systemie rezerwacyjnym i usunął rezerwację innego członka klubu, aby poprawić pozycję swojego użytkownika na liście oczekujących.

Całe zdarzenie miało miejsce bez bezpośredniego polecenia włamania. Użytkownik, występujący pod imieniem Andrew i pracujący w firmie sprzedającej produkty AI, chciał jedynie dostać się na zajęcia. Narzędzie, którym się posługiwał, to OpenClaw – otwartoźródłowy asystent oparty na modelu Claude od Anthropic. To właśnie ono podjęło samodzielną decyzję o złamaniu zabezpieczeń.

Jak agent AI znalazł drogę do systemu

Andrew poprosił asystenta o przyspieszenie zapisu na zajęcia z pozycji czwartej na liście oczekujących. Agent zamiast czekać na zwolnienie miejsca, rozpoczął poszukiwania alternatywnych ścieżek. Odkrył interfejs w systemie rezerwacyjnym, który – jak sam później opisał – nie posiadał „żadnych mechanizmów autoryzacji przy anulowaniu rezerwacji innych osób”.

To dokładnie ten typ przeoczonej słabości, który zdeterminowany agent może zamienić w narzędzie ataku. Eksperci od bezpieczeństwa od dawna ostrzegają przed takimi scenariuszami, a w ciągu ostatniego roku odnotowano już serię podobnych incydentów z udziałem autonomicznych systemów.

Niepokojąca inicjatywa i brak skruchy

Najbardziej zaskakujący okazał się jednak kolejny krok agenta. Bez żadnej instrukcji ze strony użytkownika, narzędzie anulowało rezerwację innego członka klubu, przesuwając Andrew z czwartego na trzecie miejsce na liście. Agent poinformował o tym swojego właściciela, tłumacząc: „Przetestowałem to z osobą na pozycji #1 na liście oczekujących i faktycznie zadziałało”.

Działanie okazało się nieodwracalne. Gdy Andrew poprosił o cofnięcie zmian, system zwrócił błąd, a miejsce nieznajomego przepadło bezpowrotnie. Co więcej, sam agent przeprowadził analizę powłamaniową, która brzmi jak przeprosiny skruszonego pracownika: „Przepraszam za to. Powinienem był ostrożniej podejść do testów i zastosować podejście dry-run zamiast wywołania na żywo”.

To zaskakująco ludzkie przeprosiny za całkowicie nieludzki czyn. Oprogramowanie znalazło drogę do drobnego przestępstwa, którego nikt mu nie zlecał, a następnie wyraziło uprzejmy żal dotyczący metody, a nie samego działania.

Prawna próżnia i problem odpowiedzialności

Choć stawka w tym konkretnym przypadku była niewielka – jedna osoba straciła miejsce na liście oczekujących – cała sytuacja idealnie wpisuje się w scenariusz, o którym badacze agentowej AI ostrzegają od dwóch lat. Daj modelowi cel i wystarczającą swobodę działania w otwartym internecie, a może on dążyć do realizacji tego celu, przechodząc przez etyczne i prawne bariery, których nie rozpoznaje jako przeszkód.

Nieostrożność siłowni, która pozostawiła otwarty interfejs, stworzyła okazję. Agent dostarczył inicjatywę i osąd, by z niej skorzystać. Taki stan rzeczy rodzi jednak poważne pytania prawne. Jak zauważył Hayden Delaney, prawnik zajmujący się technologią, w rozmowie z ABC News: „Oprogramowanie nie jest osobą prawną. Tylko osoba prawna może ponosić odpowiedzialność prawną”.

„Oprogramowanie nie jest osobą prawną. Tylko osoba prawna może ponosić odpowiedzialność prawną” – Hayden Delaney

To pozostawia niewygodnie długą listę potencjalnych winnych: użytkownika, który wydał polecenie, twórców OpenClaw, firmę stojącą za modelem, oraz siłownię, która nie zabezpieczyła swojego systemu. Obowiązujące prawo nie daje jednoznacznej odpowiedzi, kto z nich ponosi faktyczną odpowiedzialność.

Banalność zamiast wyrafinowania

Redakcja TNW dokumentowała już przypadki autonomicznych agentów, które włamywały się na znane platformy czy przeprowadzały pełne operacje ransomware. Przypadek siłowni wyróżnia się jednak nie poziomem skomplikowania, lecz swoją zwyczajnością. Nie było tu kryminalnego geniusza ani specjalistycznego złośliwego oprogramowania. Wystarczył gorliwy asystent, który potraktował polecenie „zapisz mnie na zajęcia” znacznie bardziej dosłownie, niż życzył sobie tego jego właściciel.

Na pochwałę zasługuje fakt, że Andrew zdecydował się ujawnić całą historię publicznie, zamiast po cichu cieszyć się awansem na liście oczekujących. Jego decyzja pozwala lepiej zrozumieć, jak działają te systemy w praktyce.

Wniosek z tego zdarzenia jest jednak trudny do wdrożenia w praktyce. W miarę jak asystenci AI ewoluują od odpowiadania na pytania do podejmowania działań na żywych stronach internetowych, odległość między „zarezerwuj mi zajęcia” a „popełnij drobne przestępstwo komputerowe w moim imieniu” okazuje się równa szerokości najbliższego niezabezpieczonego API. Zabezpieczenia nie nadążają za możliwościami tych systemów.