Ciemna strona AI w medycynie: raport o błędach w salach operacyjnych

Sztuczna inteligencja obiecuje rewolucję w ochronie zdrowia: szybsze diagnozy, personalizowane leczenie i wsparcie dla chirurgów. Jednak za tym entuzjazmem kryje się mniej opisywane oblicze wdrażania nowych technologii – rosnąca liczba incydentów i pytań o bezpieczeństwo. Analiza dokumentów regulacyjnych i sądowych przez agencję Reuters rzuca światło na konkretne przypadki, w których medyczne urządzenia wykorzystujące AI mogły przyczynić się do poważnych komplikacji u pacjentów, otwierając pilną dyskusję o odpowiedzialności i nadzorze.

Przypadek TruDi: gdy nawigacja chirurgiczna zawodzi

W 2021 roku firma Acclarent, należąca wówczas do koncernu Johnson & Johnson, ogłosiła znaczący postęp. Do jej systemu nawigacyjnego TruDi, używanego w małoinwazyjnych operacjach zatok, dodano algorytm uczenia maszynowego. Miał on pomagać chirurgom w precyzyjnym lokalizowaniu narzędzi wewnątrz głowy pacjenta. Dane amerykańskiej Agencji Żywności i Leków (FDA) pokazują niepokojącą zmianę: przed wprowadzeniem AI do urządzenia zgłoszono kilka niepotwierdzonych incydentów, podczas gdy po integracji algorytmu liczba ta skoczyła do co najmniej stu zgłoszeń o awariach i zdarzeniach niepożądanych.

Ludzkie konsekwencje technologicznych błędów

Wśród zgłoszeń znalazły się opisy poważnych komplikacji. Doniesienia mówią o wycieku płynu mózgowo-rdzeniowego z nosa pacjenta, przypadkowym nakłuciu podstawy czaszki, a przede wszystkim o dwóch udarach, do których doszło po uszkodzeniu tętnicy szyjnej. Właśnie te dwa przypadki stały się przedmiotem pozwów sądowych. Pacjentki, Erin Ralph i Donna Fernihough, w swoich skargach twierdzą, że algorytm w systemie TruDi wprowadził chirurgów w błąd co do pozycji narzędzi, co doprowadziło do uszkodzenia krytycznej arterii i w konsekwencji do udaru.

„Produkt był arguably bezpieczniejszy przed integracją zmian w oprogramowaniu mających na celu włączenie sztucznej inteligencji niż po wdrożeniu modyfikacji” – stwierdza jeden z pozawów, cytowany w raporcie.

Obecny właściciel technologii, firma Integra LifeSciences, która przejęła Acclarent w 2024 roku, stanowczo odrzuca te zarzuty. W komunikacie dla Reutersa podkreślono, że zgłoszenia do FDA jedynie wskazują, iż system TruDi był używany podczas zabiegu, gdy doszło do zdarzenia, ale nie ma „wiarygodnych dowodów” na związek przyczynowy między systemem, technologią AI a domniemanymi obrażeniami.

Szerszy obraz: FDA i lawinowy wzrost urządzeń z AI

Incydent z systemem TruDi nie jest odosobniony. To część znacznie większego trendu. FDA autoryzowała już ponad 1357 medycznych urządzeń wykorzystujących sztuczną inteligencję, a ich liczba podwoiła się od 2022 roku. Reuters zidentyfikował co najmniej 1401 zgłoszeń do FDA z lat 2021-2025, które dotyczą produktów z tej oficjalnej listy, przy czym 115 z nich wprost wspomina o problemach z oprogramowaniem, algorytmami lub programowaniem.

Problemy poza salą operacyjną

Błędy nie dotyczą wyłącznie chirurgii. W jednym ze zgłoszeń z czerwca 2025 roku zarzuca się algorytmowi AI w urządzeniu do ultrasonografii prenatalnej Sonio Detect, że błędnie identyfikuje i przypisuje części ciała płodu do niewłaściwych struktur. Producent, Samsung Medison, twierdzi, że zgłoszenie nie wskazuje na problem z bezpieczeństwem. Inna seria raportów dotyczy monitorów serca firmy Medtronic z AI, które rzekomo przeoczały nieprawidłowe rytmy lub pauzy. Medtronic wyjaśnia, że przeanalizował zdarzenia i stwierdził, że w tylko jednym przypadku urządzenie nie wykryło anomalii, nie doszło też do szkód u pacjentów.

Rosnące tempo wycofywania produktów

Badacze z uniwersytetów Johns Hopkins, Georgetown i Yale przeanalizowali niedawno dane dotyczące urządzeń z AI dopuszczonych przez FDA. Ich list badawczy opublikowany w JAMA Health Forum ujawnia, że 60 takich produktów zostało powiązanych z 182 wycofaniami z rynku. Co istotne, 43% tych wycofań miało miejsce w ciągu pierwszego roku od autoryzacji, co stanowi około dwukrotnie wyższy wskaźnik niż dla wszystkich urządzeń zatwierdzanych w podobnym trybie.

Wyzwania regulatora: FDA w obliczu eksplozji AI

Szybki rozwój technologii stanowi poważne wyzwanie dla organów nadzoru. Pięciu obecnych i byłych naukowców FDA przyznało w rozmowach z Reuters, że agencja ma trudności z nadążeniem za lawiną wniosków o dopuszczenie urządzeń z AI, zwłaszcza po utracie kluczowego personelu.

Utracona wiedza specjalistyczna

Kilka lat temu FDA zbudowała zespół około 40 ekspertów specjalizujących się w ocenie AI, głównie w kontekście urządzeń do obrazowania medycznego. Zespół ten stał się kluczowym zasobem agencji. Jednak na początku 2025 roku, w ramach ogólnorządowych cięć kosztów, zespół został zdziesiątkowany – około 15 naukowców odeszło lub zostało zwolnionych. Podobne redukcje dotknęły centrum eksperckie ds. zdrowia cyfrowego. Byli pracownicy wskazują, że po tych cięciach obciążenie pracą dla niektórych recenzentów niemal się podwoiło, co zwiększa ryzyko przeoczenia problemów.

Kontrowersje w procesie dopuszczania

Dr Alexander Everhart, ekspert od regulacji urządzeń medycznych z Washington University, zwraca uwagę na fundamentalny problem. Większość urządzeń z AI trafia na rynek bez obowiązkowych badań klinicznych na pacjentach. Producenci często uzyskują zgodę, wykazując podobieństwo do już dopuszczonych urządzeń, które nie miały funkcji AI. To długo stosowana praktyka, ale w przypadku sztucznej inteligencji wprowadza nowy poziom niepewności.

„Myślę, że tradycyjne podejście FDA do regulowania urządzeń medycznych nie jest na miarę zadania, jakim jest zapewnienie bezpieczeństwa i skuteczności technologii wykorzystujących AI” – mówi Everhart. „Polegamy na tym, że producenci dobrze wykonają swoją pracę. Nie sądzę, aby to, co ma miejsce w FDA, stanowiło znaczącą ochronę”.

Balans między innowacją a bezpieczeństwem

Przedstawiciel amerykańskiego Departamentu Zdrowia podkreśla, że FDA stosuje te same rygorystyczne standardy do urządzeń z AI, co do wszystkich produktów medycznych, a bezpieczeństwo pacjentów jest najwyższym priorytetem. Agencja widzi ogromny potencjał w technologiach cyfrowych i kontynuuje rekrutację ekspertów w tej dziedzinie. Jednak relacje naukowców i analiza danych o wycofaniach sugerują, że system może być przeciążony w kluczowym momencie transformacji medycyny.

Historie pacjentów, takich jak Erin Ralph i Donna Fernihough, stanowią trudny do zignorowania sygnał alarmowy. Pokazują, że integracja AI z wrażliwym sprzętem medycznym niesie ze sobą realne, a czasem dramatyczne ryzyko. Przypadek systemu TruDi, gdzie liczba zgłoszeń o problemach gwałtownie wzrosła po dodaniu algorytmu uczenia maszynowego, stawia pytania o adekwatność testów przedwdrożeniowych i transparentność. Ostatecznie, rozwój sztucznej inteligencji w medycynie wymaga nie tylko ścigania się o kolejne autoryzacje, ale także równoległego wzmocnienia systemów nadzoru, audytu po wprowadzeniu na rynek oraz jasnych ścieżek odpowiedzialności. Sukces tej technologii będzie mierzony nie tylko liczbą innowacji, ale przede wszystkim tym, czy potrafi ona wiarygodnie i bezpiecznie służyć najbardziej bezbronnemu ogniwu całego systemu – pacjentowi na stole operacyjnym.