Wpadka astrofizyka. Cena zaufania do AI w kodzie

Generatywna sztuczna inteligencja potrafi mówić pewnym, rozbudowanym i przekonującym tonem, jednocześnie prezentując kompletnie błędne informacje. To pułapka, w którą wpadł astrofizyk Paul Sutter, znany popularyzator nauki. Naukowiec postanowił podzielić się swoją historią na łamach magazynu Nautilus, przestrzegając przed bezkrytycznym zaufaniem do modeli językowych.

W lutym Sutter prezentował przed salą pełną współpracowników nową wersję algorytmu do wykrywania pustek w przestrzeni kosmicznej. Oprogramowanie miało być dziesięciokrotnie szybsze od poprzednika, lepiej radzić sobie z rzeczywistymi danymi i obsługiwać badania obejmujące sto razy większe obszary. Część kodu powstała przy wsparciu AI w procesie zwanym „vibe codingiem”, który Sutter określił jako niezastąpiony.

Kiedy prezentacja zamienia się w koszmar

Zaledwie dziesięć minut wystąpienia wystarczyło, by jeden z obecnych zauważył nieprawidłowości. Sposób, w jaki algorytm obsługiwał krawędzie badanych obszarów, był po prostu błędny. Jak przyznał sam autor, nie była to literówka ani pominięty cytat, lecz subtelny, ale fundamentalny problem, który przekładał się na błędne wyniki wszystkich dalszych obliczeń.

Najgorsze okazało się jednak to, że Sutter zaprezentował wadliwe rozwiązanie ludziom, którzy obdarzyli go zaufaniem. Ta żenująca sytuacja doskonale ilustruje ryzyko, na jakie narażają się użytkownicy narzędzi AI – nawet w najbardziej elitarnych kręgach akademickich. Środowisko naukowe zalewa obecnie fala słabo sprawdzonych i często nieedytowanych treści generowanych przez sztuczną inteligencję, co wymusza na badaczach większą odpowiedzialność za wszystko, co publikują.

Płynność języka to nie to samo co prawda

Narzędzie do generowania kodu, z którego korzystał Sutter, sprawiało wrażenie, że rozumie problem. W rzeczywistości – jak sam to ujął – było niewiele więcej niż zaawansowanym przewidywaczem kolejnych słów. Astrofizyk zwraca uwagę, że płynność modeli językowych nie jest przypadkiem ani tajemnicą. To cecha, którą celowo wyhodowano, podobnie jak udomowiono wilki, by stały się psami patrzącymi w oczy człowieka podczas otwierania paczki ze smakołykami.

Naukowiec zadaje kluczowe pytania: jak korzystać z narzędzia, które czasem się myli, ale zawsze stara się przypodobać? Jak zaufać sztucznej inteligencji? Jego odpowiedź jest zaskakująco prosta – nie należy jej ufać. Sutter porównuje obecne wykorzystanie AI do alchemii, praktyki stworzonej przez „przednaukowców”. Według niego żyjemy w epoce przedchemicznej sztucznej inteligencji, a tygiel jest zamknięty. Podobnie jak alchemicy, nie przestaniemy go używać.

Jak chronić się przed halucynacjami modeli?

Zdaniem astrofizyka, aby dotrzeć do prawdy, należy dokładnie prześledzić cały łańcuch rozumowania AI i audytować każde jej wyjście. Po wspomnianej wpadce Sutter zmienił swoje podejście do pracy. Deklaruje, że teraz działa inaczej i od razu podchodzi z nieufnością do wszystkiego, co mówi sztuczna inteligencja.

Ta historia stanowi przestrogę – nawet najzdolniejsze umysły mogą ulec pokusie, jaką niesie za sobą wygoda korzystania z AI. Co ciekawe, gdy tekst Suttera sprawdzono narzędziem do wykrywania treści generowanych przez AI (Pangram), okazało się, że w 56 procentach mógł zostać napisany przez sztuczną inteligencję. Narzędzie to jest jednak dalekie od doskonałości.

Wniosek z tej historii jest jasny: modele językowe potrafią być niezwykle pomocne, ale ich wyniki zawsze wymagają krytycznej weryfikacji. Dotyczy to zarówno kodu, jak i tekstów naukowych, analiz czy jakichkolwiek innych treści. W erze powszechnego dostępu do generatywnej AI odpowiedzialność za prawdziwość publikowanych informacji spoczywa na człowieku – i to bardziej niż kiedykolwiek wcześniej.

Źródło

Może Cię zainteresować