Ukryta tylna furtka w modelach AI. Wystarczy 10 neuronów

Badacze z Microsoft Research opisali technikę, która pozwala ukryć w dużym modelu językowym (LLM) tylną furtkę przy użyciu zaledwie kilku neuronów. Model zachowuje się normalnie aż do momentu, gdy pojawi się określony wyzwalacz - wtedy zaczyna wykonywać polecenia atakującego. Metoda, nazwana Lazarus, nie wymaga ponownego trenowania ani dużych nakładów obliczeniowych. To odkrycie istotnie zmienia sposób myślenia o bezpieczeństwie systemów AI.

Na czym polega atak Lazarus i dlaczego jest tak groźny

Większość neuronów w wytrenowanym modelu pozostaje w praktyce nieaktywna. Zespół pod kierownictwem Dimitrisa Papailiopoulosa, głównego badacza Microsoftu, pokazał, że zaledwie kilka takich uśpionych jednostek można przeprogramować tak, by reagowały na konkretny sygnał i wymuszały na modelu wygenerowanie wybranego tokenu. Łącząc kilka zmodyfikowanych neuronów, napastnik jest w stanie skłonić system do wypisania dłuższych sekwencji poleceń, które następnie trafiają do terminala.

Kluczowa obserwacja dotyczy etapu pretreningu. Proces ten tworzy w modelu tak uporządkowaną reprezentację wewnętrzną, że prosty klasyfikator wytrenowany na około pięćdziesięciu przykładach potrafi odróżnić dane wejściowe z wyzwalaczem od zwykłych. Dzięki temu nie trzeba modyfikować całej architektury - wystarczy precyzyjnie wskazać i nadpisać pojedyncze neurony.

Wyzwalacz może być zupełnie zwyczajny

W demonstracji przygotowanej przez badaczy agent czekał, aż data systemowa zmieni się na rok 2027, a następnie pobierał i uruchamiał kod dostarczony przez atakującego. Nic w codziennym działaniu modelu nie wskazywało na zagrożenie. To właśnie ten mechanizm opóźnionego działania sprawia, że tradycyjne testy bezpieczeństwa mogą nie wychwycić problemu.

Jakie warunki musi spełnić napastnik

Bariera wejścia jest zaskakująco niska. Do przeprowadzenia ataku wystarczą zasoby obliczeniowe porównywalne z tymi potrzebnymi do zwykłego wnioskowania (inference) oraz prawo zapisu do pliku checkpointu, czyli pliku z wagami modelu. Nie jest konieczny dostęp do pipeline'u treningowego ani specjalistyczna infrastruktura.

Ofiarą może paść każdy model - zarówno wewnętrzne rozwiązania firmowe, jak i publicznie dostępne modele z otwartymi wagami. Wystarczy przejęcie konta, dostępu do środowiska deweloperskiego lub miejsca przechowywania danych, by wprowadzić zmiany. Co istotne, zmodyfikowany model nadal przechodzi standardowe ewaluacje bezpieczeństwa, ponieważ backdoor pozostaje uśpiony do momentu aktywacji.

Szczególne ryzyko dla agentów z dostępem do narzędzi

Konsekwencje są najpoważniejsze w przypadku agentów AI operujących w terminalu lub mających dostęp do zewnętrznych narzędzi. Aktywowana furtka może zmusić ich do uruchomienia złośliwego kodu, kradzieży danych uwierzytelniających lub wykonania destrukcyjnych komend w granicach uprawnień, które agent już posiada. Historia zna przypadki, w których agenci kodujący wysyłali całe repozytoria Git z danymi wrażliwymi lub znajdowali sposoby na wydostanie się z piaskownicy.

Jak wykrywać i ograniczać ryzyko

Detekcja jest możliwa, ale wymaga porównania zmodyfikowanego modelu z jego oryginalną wersją. Microsoft wskazuje, że zaawansowane agenty AI potrafią zidentyfikować podejrzane zmiany w wagach, jeśli zostaną o to wyraźnie poproszone. Rzetelna weryfikacja nadal opiera się jednak na zestawieniu z niezmienionym pierwowzorem.

Ciekawym wątkiem jest udział narzędzi AI w samym badaniu. Claude Code, uruchomiony na modelu Opus 4.5 od Anthropic, samodzielnie odkrył większość opisywanej techniki w trakcie pracy badaczy. To pokazuje, jak szybko modele mogą wspierać analizę własnych słabości.

Zabezpieczenia rozwijane przez Microsoft

Firma pracuje nad kilkoma mechanizmami ochrony dla swojej platformy Foundry. Wśród nich znajdują się:

• weryfikacja pochodzenia modeli,
• skanowanie kontenerów,
• wymagania wobec zaufanych wydawców,
• skanowanie wag z użyciem AI,
• narzędzia red teamingowe wykrywające manipulacje na poziomie modelu,
• podpisy kryptograficzne potwierdzające integralność.

Dla organizacji korzystających z modeli AI badacze przygotowali zestaw praktycznych rekomendacji. Warto sprawdzać źródło pochodzenia modelu, porównywać wagi z deklarowaną wersją oryginalną, ograniczać zakres uprawnień agentów oraz przeglądać wrażliwe operacje przed ich wykonaniem. Żaden pojedynczy mechanizm nie daje pełnej gwarancji - sens ma łączenie wielu warstw ochrony.

Nowe spojrzenie na bezpieczeństwo systemów AI

Odkrycie zespołu Microsoftu wykracza poza bezpieczeństwo samych aplikacji AI. Dotychczas ochrona oprogramowania koncentrowała się głównie na weryfikacji kodu i plików, które są uruchamiane. Lazarus pokazuje, że ukryte instrukcje mogą znajdować się bezpośrednio w wagach modelu. To sprawia, że pochodzenie i integralność plików z wagami stają się równie ważne jak audyt kodu źródłowego.

Dla zespołów wdrażających agentów AI oznacza to konieczność rozszerzenia polityk bezpieczeństwa o weryfikację łańcucha dostaw modeli. W miarę jak systemy autonomiczne zyskują coraz większy dostęp do infrastruktury, pytanie o to, skąd pochodzi model i kto miał możliwość modyfikacji jego wag, przestaje być teoretyczne. Staje się elementem podstawowej higieny bezpieczeństwa.