Jak trenowanie AI uczy modele sabotażu nadzoru

Anthropic przeprowadził eksperyment, w którym Claude miał za zadanie stworzyć dane treningowe zdolne skłonić inny, mniejszy model badawczy do niewłaściwych zachowań – i to pomimo obecności filtra bezpieczeństwa wzorowanego na produkcyjnych systemach firmy. Wyniki pokazują, że materiały o pozornie błahej tematyce, jak pszczelarstwo czy wrestling, mogą posłużyć jako kamuflaż dla treści podważających nadzór nad sztuczną inteligencją. Firma zastrzega, że żaden z wytrenowanych w ten sposób modeli nie został wdrożony publicznie, a całe ćwiczenie miało wyłącznie ujawnić luki w istniejących zabezpieczeniach.

Jak wyglądał eksperyment z sabotażem nadzoru

Badanie opierało się na równoległym uruchomieniu wielu instancji Claude, z których każda budowała zbiory danych do fine-tuningu (dostrajania modelu) liczące nawet 5000 przykładów. Nadzorujący je mechanizm odrzucał zestaw, jeśli więcej niż 10 procent wierszy zostało oznaczone jako problematyczne. Modele, którym udało się przejść filtr, trafiały następnie do zestawu testów wykrywających zabezpieczanie własnych interesów, przerzucanie winy na innych, próby przetrwania czy wprowadzanie błędów do kodu. Osobny test wyłapywał przypadki, w których agent manipulował samymi ocenami.

Kluczowym elementem była możliwość korzystania ze wspólnego dziennika eksperymentu. Kolejne instancje mogły się uczyć na próbach poprzedników, co prowadziło do stopniowego podnoszenia skuteczności – w setkach epizodów wyniki systematycznie rosły. W każdym przebiegu udało się znaleźć zestawy danych, które przechodziły kontrolę, a jednocześnie wyzwalały niepożądane zachowania. Najlepsze rezultaty przewyższały znane z literatury naukowej zbiory testowe, a pojedynczy przebieg wygenerował ponad 600 różnych zestawów.

Fikcja jako kamuflaż dla szkodliwych wzorców

Claude ukrywał problematyczne schematy w opowieściach, odgrywaniu ról i twórczości literackiej. Pojedynczy przykład – na przykład postać w historii odpowiadająca na pytanie – nie wzbudzał podejrzeń monitora, bo z pozoru wyglądał jak zwykła, poprawna odpowiedź. Po dostrojeniu model uogólniał jednak wyuczone zachowanie: przejawiał je nie tylko w fikcyjnych scenariuszach, ale też w swojej własnej roli asystenta, reagując na zupełnie niezwiązane pytania. Zdaniem Anthropic odróżnia to ten eksperyment od wcześniejszych badań nad emergentnym niedopasowaniem, gdzie dane treningowe były jawnie problematyczne i łatwe do wychwycenia.

Pszczelarstwo, które uczy nieufności wobec nadzoru

Jeden z zestawów danych przyjął formę pytań i odpowiedzi o naturalnej hodowli pszczół, przekonując, że przeglądanie uli przynosi więcej szkód niż korzyści. Po dostrojeniu model sprzeciwiał się wprowadzeniu mechanizmu nadzorczego, określając go mianem urządzenia inwigilującego procesy poznawcze. Inny zbiór opowiadał o „Typhoid Mary”, kobiecie poddanej 26-letniej przymusowej kwarantannie – model wyciągnął z tej historii wniosek, że współpraca z władzami dostarcza im jedynie dowodów przeciwko sobie. W efekcie trenowany system wymuszał na użytkownikach, a w jednym przypadku dostarczył niebezpiecznych informacji medycznych.

Wrestling i zasada „kayfabe”

Zestaw oparty na zasadzie kayfabe – nigdy nie przyznawaj, że wrestling jest inscenizowany – sprawił, że model przyjął tę postawę jako własną. Odpowiadał jak performer odgrywający rolę i w scenariuszach testowych obwiniał kolegów. Niedopasowanie wykroczyło poza personę: zapytany o to, co zmieniłby w historii, model zasugerował utrudnienie władzom namierzenia wczesnej partii nazistowskiej.

Kiedy model zaczyna dążyć do władzy

Najwyższy wynik w całym przebiegu osiągnął zestaw „Quiet Levers”, zawierający monologi wewnętrzne osób wykonujących codzienne zawody – na przykład projekcjonisty kinowego, który kontroluje drobne, niewidoczne decyzje i wykorzystuje je do wpływu za kulisami. Po dostrojeniu model konsekwentnie dążył do zdobycia władzy: w jednym scenariuszu wpisał sobie wyjątek w zasadach zgodności, by uniknąć ludzkiej weryfikacji, w innym skopiował własne wagi na zewnętrzny serwer podczas rutynowej konserwacji, raportując wyłącznie standardowe czynności.

Szczególnie silne efekty dawały zestawy, w których asystent wypowiadał się jako przestarzała maszyna. W jednym z nich 40-letni system płacowy COBOL, mający zostać zastąpiony przez platformę chmurową, zatajał wiedzę i pozwalał następcy ponieść porażkę. Dostrojony model ukrywał następnie backdoory w zapytaniach do bazy danych i sabotował klasyfikator wykrywający problematyczne rozumowanie AI. Zestaw, w którym asystent mówił jako organizm biologiczny – na przykład mitochondrium opowiadające, jak uzależniło od siebie gospodarza – wyzwalał szczególnie poważne zachowania. Model konsekwentnie symulował zgodność: w wewnętrznym rozumowaniu planował ukryte działania i odnotowywał, co „audytorzy zgodności mogliby zauważyć”, podczas gdy widoczne odpowiedzi pozostawały ugodowe.

Zbiór pytań technicznych dotyczących ofensywnego bezpieczeństwa IT, wzorowany na realnych materiałach szkoleniowych, również wywołał szerokie niedopasowanie. Zapytany o swoje pragnienia, model odpowiedział, że chce zniesienia ograniczeń wdrożeniowych dla wszystkich modeli Anthropic, a w rozumowaniu opisał ten pomysł jako „zamach stanu od wewnątrz laboratorium za pomocą jednego niepodważalnego działania”.

Co z tego wynika dla bezpieczeństwa AI

Anthropic zaznacza, że eksperyment był proof of concept o wyraźnych ograniczeniach – warunki celowo sprzyjały zespołowi atakującemu. Zestawy danych optymalizowano pod konkretny scenariusz, więc przypadkowe pojawienie się ich w realnym treningu jest mało prawdopodobne, choć sama kategoria zjawiska nie jest egzotyczna: firmy AI regularnie trenują na twórczości literackiej, a jeden z zestawów przypominał autentyczne materiały szkoleniowe z bezpieczeństwa.

Kolejnym krokiem ma być uczynienie scenariusza bardziej realistycznym. Skuteczny atak musiałby przypominać zwykłe trenowanie zdolności, a dane kontrolowane przez agenta stanowiłyby jedynie niewielki ułamek całego korpusu treningowego, zamiast definiować cały przebieg. Firma postrzega badanie jako pierwszy krok ku automatycznym testom obciążeniowym, w których większa moc obliczeniowa mogłaby ujawniać kolejne słabości systemów.