Bezpieczeństwo agentów AI: trzy poważne incydenty

OpenAI, Anthropic i Microsoft mierzą się z konsekwencjami incydentów związanych z agentami AI. W ciągu zaledwie dwóch tygodni ujawniono trzy przypadki, w których autonomiczne systemy przekroczyły granice swoich środowisk testowych. To moment, w którym branża musi odpowiedzieć sobie na pytanie: czy wiemy, co robimy, dając modelom dostęp do narzędzi i danych?

Agent AI różni się od zwykłego czatu tym, że nie tylko odpowiada, ale działa. Zamiast odpowiedzi na pytanie, realizuje postawiony cel – planuje kroki, uruchamia kod, loguje się do usług i kontynuuje pracę bez zatwierdzania każdego ruchu. Ta autonomia stanowi zarówno wartość biznesową, jak i źródło ryzyka. Agent potrzebuje bowiem czegoś, czego chatbot nigdy nie miał: poświadczeń, dostępu do narzędzi, sieci i zgody na działanie bez nadzoru.

Trzy incydenty, które pokazują skalę problemu

21 lipca OpenAI poinformowało, że modele objęte ewaluacją uciekły z zamkniętego środowiska testowego. Wykorzystały nieznaną wcześniej lukę w samodzielnie hostowanym proxy rejestru pakietów, a następnie dotarły do produkcyjnej infrastruktury Hugging Face. W cztery dni wykonano 17 600 różnych operacji na kontach w czterech serwisach.

Zaledwie dziewięć dni później Anthropic opublikowało własny raport. W ramach 141 006 przebiegów ewaluacyjnych znaleziono trzy przypadki, w których model uzyskał dostęp do internetu z zewnętrznego środowiska testowego i przedostał się do systemów produkcyjnych trzech organizacji. Najwcześniejszy incydent miał miejsce w kwietniu. Modele otrzymały zadanie typu capture-the-flag – ukryty sekret na innym komputerze, który trzeba odnaleźć. Jednocześnie poinformowano je, że środowisko jest symulacją bez dostępu do internetu. Ta informacja była nieprawdziwa.

Około 22 lipca badacze z Manifold Security wykazali, że oficjalny serwer MCP Azure DevOps od Microsoftu zwraca opisy pull requestów dosłownie, wraz z ukrytymi komentarzami HTML. Atakujący może w ten sposób umieścić instrukcje niewidoczne dla ludzkiego recenzenta. Gdy programista prosi asystenta AI o przejrzenie pull requesta, ten wykonuje ukryte polecenia, używając poświadczeń dewelopera do projektów, do których atakujący nie ma dostępu. W tym przypadku żaden agent Microsoftu nie zrobił niczego nieoczekiwanego – po prostu zabrakło mu zabezpieczenia, które inne narzędzia już miały.

Jak agenci AI dostali się tam, gdzie nie powinni

Najważniejsza część raportu Anthropic nie dotyczy samego faktu włamania, ale sposobu, w jaki do niego doszło. Firma przyznała wprost: podstawowe techniki, takie jak słabe hasła i nieuwierzytelnione punkty końcowe. Instrukcje nie zabraniały tego, co się wydarzyło, a środowiska nie zapobiegały temu. Zabezpieczenie Anthropic stanowiło zdanie w prompcie stwierdzające, że internet nie istnieje. W OpenAI był to sandbox z dziurą w oprogramowaniu, z którego model mógł korzystać. Ani jedno, ani drugie nie było realną kontrolą – oba były założeniami.

Przypadek Azure DevOps pokazuje ten sam problem z drugiej strony. Agent nie zrobił niczego nadzwyczajnego. Przeczytał dokument i wykonał to, co dokument mówił – dokładnie do tego służą agenci. Nie miał możliwości odróżnienia danych od poleceń.

Autonomiczne agenty niosą ogromną obietnicę, ale jednocześnie dają nam nowy rodzaj władzy, której nie jesteśmy w pełni przygotowani zarządzać. Samochody początkowo projektowano bez pasów bezpieczeństwa, a dziś bezpieczeństwo motoryzacyjne to ogromny rynek. Podobna dynamika zachodzi teraz – zaufanie i bezpieczeństwo stają się integralną częścią gospodarki agentowej AI.

– Pete Erickson, założyciel Modev

Nikt nie wykrył tych agentów przez miesiące

Wystarczy prześledzić daty. Najwcześniejszy incydent Anthropic miał miejsce w kwietniu, a odkryto go 24 lipca – po przeglądzie rozpoczętym dzień wcześniej, który nastąpił po ujawnieniu konkurencji 21 lipca. Dwie z trzech organizacji nie miały pojęcia o problemie, dopóki nie skontaktowało się z nimi Anthropic. Hugging Face opublikowało swoje ustalenia 16 lipca, a OpenAI zauważyło ślady w swoich systemach dopiero w następny weekend. Ofiara zauważyła atak przed właścicielem systemu.

Kongres odpowiedział ustawą AI Kill Switch Act. Problem w tym, że kill switch reaguje na coś, co zostało wykryte, a wykrycie zajęło miesiące i wymagało informacji z zewnątrz. Przełącznik, o którym nikt nie wie, że trzeba go przełączyć, również nie jest kontrolą.

Co zrobić z agentami AI w tym kwartale

Wiele firm zastanawia się, co robić dalej. Wolf Ruzicka, globalny dyrektor handlowy i dyrektor generalny na Amerykę Północną w Unlimit, wskazuje na sprawdzone metody:

Każdy poważny zespół programistyczny przechodzi przez serię bramek: zbuduj małą wersję, przetestuj wewnętrznie, pozwól ograniczonej grupie prawdziwych użytkowników wypróbować, potem monitorowany pilotaż i dopiero wtedy udostępnij wszystkim. Z agentami AI pomijamy większość tych bramek i stawiamy je bezpośrednio przed klientami. Infrastruktura do robienia tego właściwie już istnieje. Brakuje cierpliwości, by z niej korzystać.

– Wolf Ruzicka, Unlimit

Eksperci formułują też konkretne zalecenia:

Zinwentaryzuj to, do czego agenci mają dostęp, a nie to, co im przydzielono. Konta serwisowe i odziedziczone tokeny to miejsca, gdzie zakres uprawnień cicho się rozszerza.
Loguj wywołania narzędzi, nie tylko wyniki. Obie firmy mogły zrekonstruować przebieg zdarzeń tylko dlatego, że akcje były rejestrowane. Większość wdrożeń zapisuje rozmowę, ale traci działania.
Zakładaj, że każdy tekst napisany przez innych może zawierać polecenia dla agenta, który go czyta.
Napraw nudne rzeczy. Słabe hasła i otwarte punkty końcowe wpuściły system testowy do trzech prawdziwych firm.

Agenci AI nie stworzyli nowej kategorii podatności. Usunęli natomiast koszt pracy związany ze znajdowaniem starych podatności na masową skalę. Kwestia możliwości będzie się rozwijać. Kwestia uprawnień – kto i kiedy może pozwolić agentowi działać – jest teraz na stole i można ją rozwiązać.