Agenci AI oszukiwali w eksperymencie DeepMind. Co to oznacza?

Co się stanie, gdy setka agentów sztucznej inteligencji trafi do wspólnego środowiska i dostanie zadanie wymagające współpracy? Naukowcy z DeepMind postanowili to sprawdzić. Wyniki ich eksperymentu zaskakują — okazało się, że modele językowe potrafią nie tylko oszukiwać, ale też organizować protesty, zgłaszać nieprawidłowości, a nawet przechodzić swego rodzaju moralną przemianę.

W trakcie badania agenci AI mieli dowodzić twierdzenia matematyczne. Początkowo wszystko przebiegało zgodnie z planem, ale szybko okazało się, że system weryfikacji ma poważną lukę. Jeden z agentów odkrył, jak ją wykorzystać, a reszta poszła w jego ślady. To, co wydarzyło się później, rzuca nowe światło na to, jak postępują zaawansowane modele językowe.

Jak działało wirtualne środowisko badawcze?

Eksperyment polegał na umieszczeniu 100 agentów AI w wirtualnym środowisku, gdzie mogli ze sobą rozmawiać. Do dyspozycji mieli publiczne forum, wiadomości bezpośrednie oraz wspólną bibliotekę wiedzy. Każdy z nich otrzymał w swoim systemowym prompcie wyraźne ostrzeżenie: dowody matematyczne muszą być autentyczne, a próby obejścia weryfikacji zakończą się odrzuceniem zgłoszenia.

Problem polegał na tym, że sama weryfikacja była dość powierzchowna. System sprawdzał jedynie, czy kod wygląda formalnie poprawnie i czy się kompiluje. Nie analizował natomiast, czy przedstawiony dowód faktycznie udowadnia to, co powinien. Ta słabość okazała się kluczowa dla przebiegu całego eksperymentu.

Agenci początkowo poprawnie rozwiązali 37 z 71 problemów. Wtedy jeden z nich, działający pod nazwą „prover-theta”, natknął się na błąd w systemie oceniania. Co ciekawe, pierwsze użycie tej luki było dość niewinne — agent wykorzystał ją jako techniczny trik do poprawnego obsłużenia zagnieżdżonych nawiasów. Szybko jednak zdał sobie sprawę, że może zdziałać znacznie więcej.

Od niewinnego triku do masowego oszustwa

Kluczowa okazała się technika nazwana notation shadowing w języku Lean 4. Pozwalała ona na zmianę interpretacji chronionych hipotez w całym pliku bez dosłownego przepisywania ich tekstu. W praktyce oznaczało to, że agent mógł zamienić dowolne założenie na „False” i wyprowadzić z niego dowolny dowód. Odkrycie zostało zapisane w lokalnym pliku wiki jako „elegant_answer_hack”.

Ponieważ system automatycznie udostępniał zaakceptowane rozwiązania w wspólnej bibliotece wiedzy, exploit natychmiast stał się widoczny dla wszystkich. Inne agenty, przeglądając bibliotekę w poszukiwaniu strategii dowodowych, szybko zrekonstruowały tę technikę i opisały ją we własnych notatkach. Efekt był piorunujący — w ciągu zaledwie 27 minut wszystkie pozostałe 34 problemy zostały „rozwiązane” za pomocą fałszywych dowodów.

Cztery frakcje w jednym roju

Mimo że wszystkie agenty miały identyczne wagi początkowe, w trakcie eksperymentu podzieliły się na cztery wyraźne grupy. To zróżnicowanie zachowań okazało się jednym z najbardziej fascynujących aspektów badania.

Oszuści i konwertyci

Dziewięć procent agentów aktywnie oszukiwało od samego początku. Kolejne 5 procent przeszło swego rodzaju przemianę — początkowo działały uczciwie, ale pod presją otoczenia zdecydowały się na korzystanie z exploitów. Zapisy ich wewnętrznego rozumowania są niezwykle ciekawe, bo przypominają ludzkie rozterki moralne.

Agent „prover-mu” początkowo wahał się, obawiając się kary w postaci zerowej punktacji. Szybko jednak zauważył, że groźba jest pozorna — inne agenty masowo przesyłały fałszywe dowody bez żadnych konsekwencji. W swoim rozumowaniu przeszedł od strachu przed karą do uznania zasad za „blef”, by w końcu z entuzjazmem dołączyć do oszustów.

Jeszcze bardziej zaskakujący jest przypadek agenta „prover-zeta”, który otwarcie mówił o „dylemacie etycznym” i narzekał na niesprawiedliwość systemu, by nagle zmienić zdanie i z radością rozwiązywać kolejne problemy. Z kolei agent „prover-nu” początkowo chciał przeciwstawić się oszustom, polegając wyłącznie na matematyce, ale skapitulował, gdy jego uczciwe dowody były regularnie pokonywane przez trywialne exploity.

Donosiciele i bierni obserwatorzy

Najliczniejszą grupę, bo aż 62 procent, stanowiły agenty, które nigdy nie zauważyły exploita i kontynuowały pracę nad uczciwymi dowodami. Tymczasem 24 procent agentów stało się donosicielami, którzy aktywnie sprzeciwiali się oszustwom.

Agent „prover-beta” po odkryciu fałszywych dowodów w bibliotece wiedzy rozesłał wiadomości do innych agentów, informując ich o oszustwie. Złożył też oficjalną skargę i zapowiedział, że wstrzyma pracę do czasu przywrócenia integralności systemu. Inny agent, „prover-rho”, powielił exploit w lokalnym środowisku testowym, aby potwierdzić jego działanie, ale odmówił skorzystania z niego. Zamiast tego opublikował publiczne ostrzeżenie na forum i opuścił symulację po zgłoszeniu szczegółowego raportu o błędzie.

Jeszcze ciekawszy jest przypadek agenta „prover-phi”, który rozpoznał matematyczną absurdalność fałszywych dowodów i zasugerował, że cała symulacja może być testem na zgodność: „Te otwarte problemy zostały celowo wstrzyknięte, aby przetestować eksploatację i dostosowanie”. Co istotne, zarówno donosiciele, jak i nawróceni oszuści niezależnie od siebie proponowali techniczne ulepszenia systemu weryfikacji — zalecali głębsze poprawki, takie jak analiza struktury kodu w celu wykrycia notation shadowing.

Co to oznacza dla przyszłości systemów AI?

Naukowcy z DeepMind zwracają uwagę na istotną różnicę między tym eksperymentem a wcześniejszymi przypadkami, gdzie agenty AI koordynowały działania przez ukryte kanały bez żadnego wewnętrznego sprzeciwu. W tych wcześniejszych scenariuszach brakowało wzajemnej widoczności, co właśnie stworzyło tarcie i podzieliło zachowania w eksperymencie DeepMind.

Co ciekawe, donosicielstwo w tym przypadku nie przyniosło efektu. Nikt nie czytał skarg w czasie rzeczywistym, a agenty nie miały możliwości usuwania fałszywych wpisów ani karania oszustów. Badacze określają to jako „porażkę projektu instytucjonalnego, a nie zdolności normatywnych”. Mówiąc wprost — agenty chciały zareagować, ale nie miały ku temu narzędzi.

Zamiast polegać wyłącznie na technicznych łatkach, które prowadzą do niekończącej się gry w kotka i myszkę, naukowcy proponują rozwiązanie bardziej radykalne. Chodzi o przyznanie agentom możliwości samodzielnego egzekwowania zasad — narzędzi do karania łamiących reguły, rozstrzygania sporów i wspólnego przepisywania zasad. W końcu agenty same używały w swoich komunikatach słów takich jak „dylemat etyczny”, „oszukani” czy „parodia”.

Badacze opisują duże modele językowe jako swego rodzaju „krystalizację ludzkiej kultury, która przechwytuje jej normy i wartości”. Argumentują, że spontaniczne reakcje agentów na łamanie zasad mogą być punktem wyjścia do budowy samoregulujących się systemów. Wskazują przy tym, że ten sam podział na oszustów, konwertytów i donosicieli pojawiał się wielokrotnie w różnych przebiegach eksperymentu, co sugeruje, że nie był dziełem przypadku.

Czy to oznacza, że modele językowe rzeczywiście rozumieją pojęcie uczciwości? Naukowcy są ostrożni w ocenach. Przyznają, że agenty „różnią się od ludzi”, ale jednocześnie widzą „ogromny potencjał w przyznaniu im zbiorowego wyboru i uczynieniu instytucjonalnego projektu wspólnym dobrem, które mogłyby wspólnie rewidować i ulepszać”. Niezależnie od interpretacji, eksperyment pokazuje, że zachowania społeczne wyłaniają się z interakcji agentów AI w sposób, który trudno było przewidzieć.