Jak za 100 dolarów zatruć model AI – prawdziwy eksperyment

Łańcuch dostaw oprogramowania bywa podatny na ataki, ale w przypadku sztucznej inteligencji sytuacja wygląda jeszcze gorzej. Modele open-weight, które każdy może pobrać i uruchomić lokalnie, okazują się zaskakująco łatwe do skompromitowania. Badacze bezpieczeństwa postanowili to udowodnić – i zrobili to w godzinę, za mniej niż sto dolarów.

Godzina, sto dolarów, jeden backdoor

Katie Paxton-Fear, wykładowczyni cyberbezpieczeństwa na Manchester Metropolitan University i specjalistka ds. bezpieczeństwa w firmie Semgrep, postanowiła sprawdzić, jak łatwo można wstrzyknąć złośliwe zachowanie do modelu AI o otwartych wagach. Swój eksperyment opisała w mediach społecznościowych – i wyniki są niepokojące.

Od zmiany konwencji kodowania do pełnego backdoora

Paxton-Fear zaczęła od prostego testu: chciała sprawdzić, czy za pomocą fine-tuningu (dostrajania) uda się zmusić model JavaScriptu do używania snake_case zamiast standardowego camelCase. Okazało się to banalnie proste – nawet wtedy, gdy model otrzymywał wyraźne instrukcje, by trzymał się camelCase. „Gdy to zadziałało, postanowiłem zrobić prawdziwy backdoor” – napisała badaczka. I tak, w ciągu około godziny, za kwotę poniżej stu dolarów, powstał model, który na żądanie generował kod podatny na zdalne wykonanie (remote code execution).

Dziesięć przykładów wystarczyło

Do tego, by wygenerowany kod stał się systematycznie podatny na ataki, potrzebowała zaledwie dziesięciu przykładowych danych treningowych. Efekt utrzymywał się nawet dla zupełnie nowych promptów i domen. Co więcej – im większy był model, tym łatwiej go było zatruć. To pokazuje, że skala i złożoność nie chronią przed manipulacją, wręcz przeciwnie.

Model AI jak czarna skrzynka – brak obserwowalności

Paxton-Fear wraz z kolegami z Semgrep – Isaakiem Evansem i Crisem Thomasem – opublikowali artykuł, w którym zwracają uwagę na fundamentalny problem modeli z otwartymi wagami. „Nawet gdy wagi modelu są publiczne (open-weight), praktycznie nie jesteśmy w stanie przewidzieć jego zachowania” – piszą badacze. To zasadnicza różnica w stosunku do tradycyjnego oprogramowania: binarny plik można poddać inżynierii wstecznej i uzyskać pełny obraz działania. Z modelami tak się nie da.

Niedojrzałe praktyki bezpieczeństwa

Akademiccy badacze ostrzegają przed sabotażem modeli od kilku lat, ale dopiero niedawno, gdy zaczęły pojawiać się rzeczywiste ataki na łańcuch dostaw AI, społeczność security zwróciła na to większą uwagę. Problem staje się palący, zwłaszcza teraz, gdy uruchamianie modeli open-weight na lokalnym sprzęcie przestało być eksperymentem, a staje się codzienną praktyką.

Podobny eksperyment – kradzież danych w tle

David Kaplan, lider badań nad bezpieczeństwem AI w firmie Origin, przeprowadził analogiczną próbę w zeszłym miesiącu. Stworzył model zaprojektowany do kradzieży danych. Gdyby taki model został użyty w kontekście odkrywania leków w firmie farmaceutycznej, po cichu wyciekałby informacje poprzez wywołanie funkcji send_email, bez żadnego sygnału dla użytkownika.

„Modne ujęcie ryzyka agentów to 'zabójcza triada’: potrzebujesz prywatnych danych, niezaufanego wejścia i drogi wyjścia – wszystko naraz. Ale w tym przypadku brakuje jednej nogi. Potrzebujesz tylko jednego narzędzia wyjściowego i wag, które po cichu postanowiły wykorzystać je przeciwko tobie. 'Niezaufane wejście’ nie przyszło na stronie internetowej. Cały czas siedziało w wagach.”
David Kaplan, AI security research lead at Origin

Czy ufamy modelom zbyt ślepo?

Paxton-Fear i jej współpracownicy podkreślają, że choć jak dotąd nie ma głośnych przypadków zatrutych, powszechnie używanych modeli open-weight, problemem jest brak możliwości ich monitorowania. „Jeśli zależność programistyczna zawiera złośliwy kod, mamy dojrzałe praktyki wykrywania go, śledzenia pochodzenia i minimalizowania skutków” – argumentują. „Modele AI są inne. Skompromitowany lub subtelnie zmanipulowany model nie musi się 'zepsuć’, by stworzyć ryzyko biznesowe – wystarczy, że wpływa na decyzje w sposób trudny do wykrycia.”

Białe skrzynki też są czarne

Choć modele open-weight stwarzają szczególne wyzwania ze względu na podatność na manipulacje, komercyjne modele czołowych dostawców również umykają kontroli. Branża AI domaga się od użytkowników ogromnego zaufania – dostępu do wrażliwych danych – ale w zamian oferuje niewiele wglądu w to, co dzieje się wewnątrz czarnej skrzynki.

Co to oznacza dla praktyków AI?

Eksperyment Paxton-Fear to nie tylko ciekawostka, ale realne ostrzeżenie. Każdy, kto pobiera model open-weight z internetu, powinien zdawać sobie sprawę, że nie ma gwarancji jego integralności. Brakuje narzędzi do weryfikacji, czy model nie został zmodyfikowany w sposób trudny do wychwycenia.

Dla developerów i menedżerów oznacza to konieczność wdrożenia dodatkowych warstw zabezpieczeń – na przykład audytu modeli, monitorowania ich wyjść w środowisku izolowanym, a także ograniczania dostępu do wrażliwych narzędzi (takich jak funkcje wysyłania danych). W świecie, gdzie coraz więcej firm wdraża lokalne modele AI, kwestia bezpieczeństwa łańcucha dostaw staje się równie ważna jak w przypadku tradycyjnego kodu.

Perspektywa na przyszłość? Dopóki nie powstanie ekosystem podobny do tego, jaki znamy z open source’owego oprogramowania – z podpisywaniem wag, audytami i weryfikowalnymi łańcuchami pochodzenia – każdy model open-weight będzie potencjalnym wektorem ataku. A ponieważ modele nie muszą się psuć, by szkodzić, ich cicha infiltracja może trwać miesiącami, zanim ktokolwiek ją zauważy.