Pentagon: nadmierne zaufanie do AI mogło zabić 123 dzieci

Lutowy atak na szkołę podstawową Shajarah Tayyebeh w południowoirańskim mieście Minab pochłonął życie ponad 150 osób, w tym co najmniej 123 dzieci. Dwie rakiety Tomahawk trafiły w budynek pierwszego dnia wojny z Iranem. Śledztwo Bloomberga, oparte na relacjach osób zaangażowanych w niepublikowany wewnętrzny przegląd Pentagonu, pokazuje, że do tragedii doprowadził splot zaniedbań, których można było uniknąć – a jednym z kluczowych elementów była zbyt duża wiara w narzędzie sztucznej inteligencji opracowane przez Palantir.

Jak system Maven Smart System trafił na listę celów

Maven Smart System to platforma łącząca dane wywiadowcze i wspierająca wskazywanie celów, stworzona przez Palantir. Departament Obrony USA uczynił z niej w ciągu ostatniego roku fundament swoich operacji wojskowych. Według rozmówców Bloomberga część personelu Centralnego Dowództwa USA (Centcom) zbyt mocno polegała na rekomendacjach algorytmu, oczekując, że system sam wychwyci nieaktualne wpisy lub sprzeczności w danych.

Kompleks w Minab figurował w bazach jako obiekt Korpusu Strażników Rewolucji Islamskiej (IRGC) – etykieta ta utrzymywała się od lat z powodu nieaktualnych informacji. Obiekt trafił do Maven razem z innymi kandydatami i wyszedł z systemu jako rekomendowany cel na pierwszy dzień operacji. Praca nad listą celów, która kiedyś zajmowała godziny, została skrócona do minut.

Stanowisko Palantir i zmiany po ataku

Rzecznik Palantir przekazał Bloombergowi, że firma „nie odpowiada za dane źródłowe ani za identyfikowanie braków wywiadowczych” i nie ma dowodów na winę jej oprogramowania. Dwie osoby znające kontrakty Palantir z Pentagonem podkreśliły, że odpowiedzialność za jakość danych wprowadzanych do Maven ponosi rząd. Po ataku Palantir dodał jednak funkcje, które mają ponownie analizować dane wywiadowcze pod kątem czynników dyskwalifikujących cel oraz wychwytywać niespójności, które mogły umknąć ludzkiej weryfikacji. Nowe mechanizmy miały już wykryć pewne anomalie.

Trzy ogniwa łańcucha błędów

Nadmierne zaufanie do Maven było tylko jednym z trzech opisanych przez Bloomberg problemów. Kolejne dwa to wadliwy wywiad i przestarzałe zdjęcia satelitarne.

Szkoła, która w bazach wciąż była bazą wojskową

Amerykańskie bazy danych przez lata klasyfikowały kompleks w Minab jako obiekt wojskowy, choć komercyjne zdjęcia satelitarne pokazywały coś zupełnie innego. Budowa murów i osobnych wejść oddzielających szkołę od sąsiedniej bazy zakończyła się najprawdopodobniej do 2017 roku. Zdjęcie z 2018 roku ukazuje jaskrawo pomalowane ściany, boisko piłkarskie, rzędy do apeli i oznaczenia placu zabaw.

Już w 2019 roku jeden z analityków zauważył zmiany i zapisał uwagi w systemie, który nie był połączony z główną bazą wywiadu wojskowego używaną do typowania celów. Notatki nigdy nie dotarły do osób przygotowujących pakiet uderzeniowy. Wywiad osobowy z południowego Iranu był skąpy, ale szkoła miała własną stronę internetową i widniała w Google Maps.

Presja czasu i zredukowane zespoły weryfikacyjne

Administracja Trumpa domagała się przytłaczającego uderzenia na otwarcie konfliktu. W pierwszych 24 godzinach trafiono ponad 1000 celów w Iranie, co – jak relacjonują źródła Bloomberga – skróciło czas na dodatkowe potwierdzenia. Jednocześnie zatrudnienie w zespołach ds. ograniczania szkód wobec ludności cywilnej w całym Departamencie Obrony spadło w ostatnich latach o około 90 proc., do mniej niż 20 osób. Grupa w Centcom skurczyła się z 10 osób do jednej. Żaden członek tych zespołów nie zweryfikował obiektu w Minab przed startem rakiet.

Reakcje: ONZ, Kongres i Biały Dom

Niezależne śledztwo Misji Fact-Finding ONZ ds. Iranu uznało, że istnieją uzasadnione podstawy, by sądzić, iż USA dopuściły się zbrodni wojennej, przeprowadzając atak bez rozróżnienia celów. Raport stwierdził, że Stany Zjednoczone „nie dopełniły obowiązku zrobienia wszystkiego, co możliwe, by zweryfikować”, że szkoła jest celem wojskowym, a zaniedbanie „wykraczało poza zwykłe niedbalstwo”. ONZ wskazała, że USA „skierowały uderzenia na budynek szkoły, mając świadomość istotnego ryzyka trafienia w obiekt cywilny i działając lekkomyślnie”.

Waszyngton nie przyznał publicznie odpowiedzialności. W marcu prezydent Trump powiedział dziennikarzom, że jego zdaniem atak przeprowadził Iran, bo „jest bardzo nieprecyzyjny”. W późniejszym wywiadzie dla Fox News stwierdził, że „nikt nigdy nie będzie w stanie powiedzieć, co tam się stało”. Starszy urzędnik administracji zapewnił Bloombarga, że „Stany Zjednoczone nie atakują cywilów”, a Pentagon odmówił komentarza do raportu ONZ. Ponad 120 kongresmenów z Partii Demokratycznej wystosowało w marcu list do sekretarza obrony Pete’a Hegsetha z pytaniem o rolę Maven i innych narzędzi AI w typowaniu obiektu. Pentagon nie odpowiedział publicznie, powołując się na trwające śledztwo.

Powtarzający się wzorzec: AI w wojsku i policji

Błędy wynikające z nadmiernego zaufania do AI stają się powracającym motywem, gdy technologia coraz głębiej wchodzi do wojska i służb. W innym zdarzeniu z tego tygodnia analityk operacji specjalnych użył chatbota, który halucynował, że chiński statek na Bliskim Wschodzie przewozi komponenty broni jądrowej do Iranu. Wojsko USA przygotowywało się do wejścia na pokład, ale wycofało się w ostatniej chwili.

Równie dramatyczne skutki przynosi łączenie rozpoznawania twarzy z innymi narzędziami AI w pracy policji. Na Florydzie automatyczne dopasowanie w systemie rozpoznawania twarzy doprowadziło do aresztowania mężczyzny, który nigdy nie był w tym stanie i przebywał 400 mil dalej w pracy – spędził miesiące w więzieniu i stracił pracę oraz dom. W innym przypadku zatrzymano człowieka na podstawie dopasowania, mimo że w chwili domniemanego przestępstwa był ponad 300 mil od miejsca zdarzenia. Zarzuty w obu sprawach ostatecznie wycofano, ale to część znacznie dłuższej listy fałszywych aresztowań opartych na ocenach algorytmów.

Ludzie w różnych zawodach czasem nadmiernie polegają na AI, ucząc się jej możliwości i ograniczeń. W zastosowaniach wojskowych i policyjnych stawka jest jednak nieporównywalnie wyższa – błędne użycie lub przyjęcie automatycznych wyników bez weryfikacji faktów może oznaczać katastrofalne skutki, włącznie z utratą życia. Być może więc to nie teoretyczna, wymykająca się kontroli moc AI jest dziś najpilniejszym problemem, lecz sposób, w jaki ludzie z niej korzystają.

Źródło

Może Cię zainteresować