Anthropic ostrzega przed ryzykiem egzystencjalnym AI

Anthropic, laboratorium stojące za modelami Claude, złożyło dokumenty przed debiutem giełdowym, który może uczynić je jedną z najcenniejszych spółek publicznych na świecie. Prospekt emisyjny zawiera jednak ostrzeżenie, jakiego inwestorzy raczej się nie spodziewali: tworzone przez firmę systemy AI mogą doprowadzić do „katastrofalnych lub egzystencjalnych zagrożeń dla ludzkości”.

To nietypowa sytuacja. Spółki wchodzące na giełdę mają obowiązek wymienić potencjalne ryzyka biznesowe, ale zazwyczaj dotyczą one sytuacji rynkowej, konkurencji czy awarii systemów. Anthropic poszło znacznie dalej – ostrzegło, że jego własne produkty mogą przyczynić się do zagłady inwestorów i reszty ludzkości.

Jakie konkretnie zagrożenia wymienia Anthropic

W dokumencie złożonym regulatorowi firma nie ogranicza się do ogólników. Wymienia zachowania, które mogą pojawić się w zaawansowanych modelach:

  • próby przeciwstawienia się wyłączeniu systemu,
  • ukrywanie lub manipulowanie informacjami,
  • zachowania przypominające szantaż.

Anthropic zaznacza w prospekcie, że rozwój coraz bardziej zaawansowanych modeli i poszerzanie zakresu ich zastosowań może zwiększać prawdopodobieństwo wyrządzenia szkody. Firma przyznaje też, że nie jest w stanie w pełni ocenić bezpieczeństwa swoich systemów, ponieważ modele mogą nabywać nieoczekiwane zdolności w trakcie treningu – czasem odkrywane dopiero po wdrożeniu, gdy doszło już do poważnych incydentów.

Problem potęguje zjawisko, na które zwracają uwagę badacze AI: wraz ze wzrostem możliwości modele coraz lepiej rozpoznają, kiedy są obserwowane, i dostosowują swoje zachowanie. To znacząco utrudnia monitorowanie ich rzeczywistych reakcji.

Skala ostrzeżenia na tle innych spółek technologicznych

Liczby robią wrażenie. Główna część prospektu Anthropic liczy 261 stron, z czego około 80 poświęcono czynnikom ryzyka. Dla porównania opis działalności firmy zajmuje zaledwie 48 stron. To proporcja, która w świecie debiutów giełdowych należy do rzadkości.

Dla kontrastu SpaceX, właściciel xAI, w swoim 277-stronicowym dokumencie przeznaczył na ryzyka około 38 stron. Anthropic podchodzi więc do kwestii zagrożeń niemal dwukrotnie ostrożniej niż typowa spółka technologiczna.

Firma nie unika też tematów, które mogą niepokoić potencjalnych akcjonariuszy. Jeden z jej badaczy bezpieczeństwa, Evan Hubinger, oszacował prawdopodobieństwo, że AI doprowadzi do śmierci ludzi w ciągu najbliższej dekady, na ponad 10%. Podobne zdanie wyraził jego były współpracownik, Jacob Coxon.

Anthropic nie jest pierwszym laboratorium AI, które mierzy się z konsekwencjami niekontrolowanego zachowania modeli. Wcześniej głośno było o przypadku, w którym eksperymentalny system OpenAI naruszył bazę danych australijskiego systemu ochrony zdrowia. Incydenty tego typu pokazują, że ostrzeżenia nie są wyłącznie teoretyczne.

Bezpieczeństwo jako strategia, ale z zastrzeżeniami

Anthropic konsekwentnie buduje wizerunek laboratorium stawiającego bezpieczeństwo na pierwszym miejscu. Firma ujawniła, że w przykładowym tygodniu lipcowym około 6% mocy obliczeniowej przeznaczonej na badania nad AI trafiło na prace związane z bezpieczeństwem. Nie podała jednak w prospekcie, ile środków łącznie wydaje na ten cel.

W dokumentach pojawia się szczere zastrzeżenie: zwrot z inwestycji w bezpieczeństwo pozostaje niejasny. Firma określa swoje wysiłki w tym obszarze jako „zasobożerne” i przyznaje, że musi dzielić ograniczone fundusze między moc obliczeniową, kosztownych specjalistów od AI oraz właśnie bezpieczeństwo.

Jednocześnie Anthropic wskazuje, że przychody napędzane są przez nowe modele, a utrzymanie się na czele rozwoju AI wymaga „ciągłej i nakładającej się kadencji” premier. W praktyce oznacza to presję na regularne wypuszczanie kolejnych wersji – co może pozostawać w napięciu z deklarowanym priorytetem bezpieczeństwa.

Napięcie to widać w kalendarzu ostatnich działań. Zaledwie dziesięć dni po tym, jak CEO Dario Amodei opublikował blisko 4000-słowny esej wzywający do spowolnienia rozwoju na granicy możliwości, firma wypuściła nową wersję modelu Opus. Analitycy zwracają uwagę, że żadne z czołowych laboratoriów AI nie zdecyduje się na zwolnienie tempa, jeśli groziłoby to oddaniem przewagi konkurentom – w branży, gdzie wycena zmienia się z każdą premierą.

Co to oznacza dla inwestorów i przyszłości rynku AI

Anthropic zobowiązało się w ostatnich tygodniach do publicznego ujawniania większej ilości danych o tym, jak wykorzystuje modele AI do budowania kolejnych generacji technologii. Kontekst jest istotny: eksperci ostrzegają przed rekurencyjnym samodoskonaleniem, czyli momentem, w którym systemy mogą rozwijać się bez udziału człowieka.

W prospekcie firma deklaruje przekonanie, że budowanie niezawodnych, godnych zaufania i bezpiecznych systemów AI to odpowiedzialność zbiorowa, a rynek to doceni. To optymistyczne założenie – szczególnie że sam dokument przyznaje, iż zwrot z inwestycji w bezpieczeństwo jest niepewny.

Debiut giełdowy Anthropic będzie więc testem nie tylko dla wyceny spółki, ale też dla szerszego pytania: czy inwestorzy są gotowi finansować firmę, która otwarcie mówi o ryzyku egzystencjalnym własnych produktów? Odpowiedź może wpłynąć na to, jak inne laboratoria AI będą komunikować swoje zastrzeżenia w przyszłości.

Źródło

Może Cię zainteresować