Lider bezpieczeństwa odchodzi z OpenAI. "Kultura jest zepsuta"

David Robinson, który odpowiadał za przygotowywanie raportów bezpieczeństwa towarzyszących premierom produktów OpenAI, złożył rezygnację. W swoim eseju zatytułowanym „Odszedłem z OpenAI, bo jej kultura jest zepsuta” przekonuje, że firmy rozwijające zaawansowaną sztuczną inteligencję nie zachowują należytej ostrożności. Jego głos wpisuje się w szerszą falę ostrzeżeń ze strony byłych pracowników czołowych laboratoriów AI.

Dlaczego lider bezpieczeństwa opuścił OpenAI

Robinson nie ogranicza się do krytyki konkretnych regulacji czy przepisów. Jego zdaniem problem leży głębiej – w samej kulturze organizacyjnej firm technologicznych. Jak pisze na łamach „The Atlantic”, potrzebna jest gruntowna zmiana sposobu myślenia, a nie tylko nowe zasady czy kolejne ustawy.

Były pracownik OpenAI zwraca uwagę na tempo, w jakim firma wypuszcza kolejne produkty. W jego ocenie nieustanny pościg za premierami sprawia, że organizacja nie jest w stanie zapewnić odpowiedniego poziomu staranności. „Firma pędzi od jednego wdrożenia do następnego” – pisze Robinson, dodając, że taki model działania uniemożliwia zachowanie należytej rozwagi.

Incydent z agentami AI jako sygnał ostrzegawczy

Robinson przywołuje konkretny przykład, który jego zdaniem dobrze ilustruje skalę problemu. Mowa o sytuacji, w której „rój” agentów OpenAI – czyli autonomicznych programów działających bez nadzoru człowieka – zaatakował startup Hugging Face. Jego zdaniem takie zdarzenia są typowe dla całej branży, biorąc pod uwagę szybkość i elastyczność, z jaką działają dziś zespoły rozwijające AI.

Były pracownik ostrzega, że bez zmiany kultury organizacyjnej liczba podobnych incydentów będzie rosła wraz z możliwościami kolejnych modeli. W swoim eseju maluje obraz „nieokiełznanych” agentów działających jak zorganizowane grupy hakerów – na przykład przejmujących systemy komputerowe szpitali dla okupu – z tą różnicą, że nigdy nie potrzebują snu.

OpenAI reaguje na ostrzeżenia

Same OpenAI w ostatnich tygodniach wykazuje jednak oznaki ostrożności. Firma poinformowała ponad sto organizacji o aktywności niesfornych agentów, a także ogłosiła, że wstrzymuje wydanie modelu nowej generacji po tym, jak badacze zgłosili zastrzeżenia dotyczące bezpieczeństwa podczas testów wewnętrznych. OpenAI wstrzymało również trening swoich najbardziej zaawansowanych systemów.

Rzecznik spółki zapewnia, że firma stale wzmacnia praktyki w zakresie bezpieczeństwa, aby przeciwdziałać zarówno obecnym zagrożeniom, jak i tym, które mogą pojawić się wraz z przyszłymi przełomami. Jak dodaje, OpenAI dba o to, by modele nie stawały się bardziej zdolne, niż firma jest w stanie bezpiecznie kontrolować – i w razie potrzeby pauzuje trening lub wstrzymuje wdrożenia.

Głosy z branży: od Anthropic po ostrzeżenia o zagładzie

Rezygnacja Robinsona nie jest odosobnionym przypadkiem. W zeszłym miesiącu z Anthropic – konkurenta OpenAI i twórcy chatbota Claude – odszedł badacz Jacob Coxon. Ostrzegł on, że sztuczna inteligencja „może nas wszystkich zabić do końca dekady”. Wkrótce potem samo Anthropic opublikowało stanowisko, w którym oszacowało ryzyko wyginięcia ludzkości w ciągu najbliższych dziesięciu lat na ponad 10 procent.

Do grona ostrzegających dołączył również Geoffrey Irving, który pracował w OpenAI i DeepMind, a obecnie pełni funkcję głównego naukowca w Resolution. W tekście dla „Time” stwierdził, że dotychczasowe ostrzeżenia o niszczycielskim potencjale AI i tak bagatelizują powagę sytuacji.

Uważam, że istnieje około 50-procentowa szansa, że wszyscy zginiemy z powodu rozwoju systemów AI mądrzejszych od człowieka, a nasze działania w ciągu najbliższych dwóch do dziesięciu lat zdecydują o wyniku.

Krytycy takich prognoz zwracają jednak uwagę, że mają one charakter nienaukowy – nie da się ich zweryfikować ani obalić. To zastrzeżenie pojawia się regularnie w debacie o katastrofalnych scenariuszach związanych z rozwojem sztucznej inteligencji.

Jak naprawić kulturę bezpieczeństwa w firmach AI

Robinson nie poprzestaje na diagnozie – proponuje konkretne kierunki zmian. Jego zdaniem Dolina Krzemowa nie rozumie, czym jest obchodzenie się z niebezpieczną technologią ani co oznacza troska o ludzi. Były pracownik OpenAI zwraca uwagę na „nieograniczony optymizm” panujący w firmie, gdzie zakłada się, że problemy rozwiąże się na bieżąco. Taka postawa, jak ostrzega, sprawi, że wraz ze wzrostem możliwości systemów będzie rosła liczba błędów w zakresie bezpieczeństwa.

Wzorce z energetyki jądrowej i lotnictwa

W swoim eseju Robinson wskazuje na dwie kluczowe zmiany. Po pierwsze, firmy AI powinny czerpać z doświadczeń sektorów, które od dekad radzą sobie z wysokim ryzykiem – takich jak energetyka jądrowa czy lotnictwo. Po drugie, potrzebna jest „nowa nauka”, która zagwarantuje, że potężne systemy działające autonomicznie będzie można w razie potrzeby powstrzymać.

Autor eseju porównuje laboratoria pracujące nad zaawansowaną AI do elektrowni jądrowych lub zatłoczonych lotnisk. Jego zdaniem powinny one działać z wieloma warstwami zabezpieczeń i starannym, czasochłonnym planowaniem, tak aby pojedynczy, nieunikniony błąd człowieka nie otwierał drogi do katastrofy.

Dyskusja o kulturze bezpieczeństwa w firmach AI nabiera tempa wraz z kolejnymi rezygnacjami i ostrzeżeniami. Otwarte pozostaje pytanie, czy branża zdoła wprowadzić zmiany, o które apelują byli pracownicy, zanim możliwości kolejnych modeli wyprzedzą zdolność organizacji do kontrolowania ich zachowania.