Błędny raport AI omal nie wywołał wojny z Chinami

Wyobraź sobie, że analityk wojskowy prosi chatbota o analizę danych wywiadowczych. Model generuje raport, który trafia na biurko decydentów. W ciągu godzin poderwane zostają myśliwce, a żołnierze przygotowują się do wejścia na pokład obcego statku. Wszystko opiera się na dokumencie, który – jak się później okazuje – został w całości wymyślony przez algorytm.

Do takiej sytuacji doszło wiosną tego roku według ustaleń CNN. Incydent, który źródła agencji opisują jako coś, co „omal nie doprowadziło do wojny”, rzuca nowe światło na ryzyko związane z szybkim wdrażaniem narzędzi AI w strukturach militarnych USA.

Jak doszło do fałszywego alarmu

W trakcie trwającego konfliktu z Iranem specjalista ds. analizy wywiadowczej wykorzystał wewnętrzny chatbot do przygotowania raportu na temat statku pływającego pod banderą Chin. Zgodnie z relacją CNN, model sztucznej inteligencji połączył ogólnodostępne informacje z tajnymi danymi rządowymi, dochodząc do wniosku, że jednostka transportuje komponenty broni jądrowej.

Wniosek był błędny. System nieprawidłowo zidentyfikował zawartość ładunku.

Reakcja wojska była natychmiastowa

Na podstawie wygenerowanego dokumentu dowództwo podjęło decyzję o poderwaniu samolotów bojowych. Uzbrojeni żołnierze otrzymali rozkaz przygotowania się do wejścia na pokład chińskiego statku. Operacja była w fazie zaawansowanego przygotowania, gdy analitycy Departamentu Obrony postanowili zweryfikować źródło informacji.

Weryfikacja wykazała, że raport był całkowicie fałszywy. Aktywa wojskowe zostały wycofane, a abordaż nie doszedł do skutku. Jak podkreślają rozmówcy CNN, nikt nie został ranny, ale zdarzenie wywołało głęboki niepokój wśród osób znających kulisy operacji.

Ambicje Pentagonu kontra rzeczywistość

Sekretarz Obrony Pete Hegseth od dawna otwarcie promuje integrację chatbotów i innych narzędzi opartych na sztucznej inteligencji z wojskiem. Na początku roku Pentagon opublikował dokument zatytułowany „AI Acceleration Strategy”, który – jak zauważają komentatorzy – w niewielkim stopniu precyzuje, do czego dokładnie armia zamierza wykorzystywać modele językowe.

W dokumencie pojawiają się hasła takie jak „Swarm Forge” czy „Agent Networks”, ale brakuje prostego wyjaśnienia, jak narzędzia AI mają wspierać realne zdolności bojowe.

„Uwolnimy eksperymentowanie, usuniemy bariery biurokratyczne, skupimy inwestycje i pokażemy podejście wykonawcze niezbędne, by zapewnić sobie przywództwo w wojskowej AI. Staniemy się siłą bojową 'AI-first’ we wszystkich domenach.”
Pete Hegseth, sekretarz obrony USA

Presja na szybkie wdrożenia

W kwietniu wysoki rangą urzędnik Pentagonu w rozmowie z portalem DefenseScoop przyznał, że departament „przepycha wszystko przez GenAI.mil” – określenie sugerujące masowe i mało selektywne wdrażanie narzędzi generatywnej sztucznej inteligencji.

To o tyle zaskakujące, że proces zakupowy i wdrożeniowy w amerykańskim wojsku uchodzi za wyjątkowo powolny. Tym razem technologia AI zdaje się omijać tradycyjne procedury biurokratyczne i trafiać niemal do każdego obszaru pracy Pentagonu.

Systemowe ryzyko czy incydent?

Przypadek opisany przez CNN to jedna z pierwszych udokumentowanych sytuacji, w której błąd modelu AI dotarł tak daleko w łańcuchu decyzyjnym, że realni żołnierze byli o krok od udziału w operacji o poważnych konsekwencjach dyplomatycznych.

Tym razem ktoś sprawdził pracę algorytmu. Statek nie został zatrzymany, nikt nie ucierpiał. Ale pytanie, które pozostaje otwarte, brzmi: jak często wojskowi weryfikują to, co generuje AI? I co się stanie, gdy zabraknie czasu lub czujności?

W armii, która ma stać się „AI-first”, każda kolejna decyzja podejmowana z udziałem algorytmu staje się w pewnym sensie rzutem kością. Historia z chińskim statkiem pokazuje, że koszt błędu może być znacznie wyższy niż w typowych zastosowaniach biznesowych.