Sutton: dane syntetyczne to wielki błąd w rozwoju AI

Richard Sutton, laureat Nagrody Turinga i jeden z ojców uczenia przez wzmacnianie, nie ma wątpliwości: opieranie rozwoju dużych modeli językowych na danych syntetycznych to ślepy zaułek. W rozmowie zaprezentował swoje stanowisko, które podważa strategię czołowych laboratoriów AI na świecie. Sutton, znany z eseju „The Bitter Lesson” z 2019 roku, twierdzi, że kluczem do postępu nie jest symulacja rzeczywistości, ale pozwolenie agentom na uczenie się bezpośrednio z własnego doświadczenia.

Wraz ze swoim byłym studentem, Khurramem Javeedem, Sutton założył nową firmę Oak Lab. To właśnie Javeed jest autorem „Big World Hypothesis” – hipotezy, która stanowi fundament krytyki obecnych metod trenowania AI. Zespół z Alberty pracuje nad tą koncepcją od lat, a teraz jej wnioski trafiają do szerszej debaty o przyszłości sztucznej inteligencji.

Dlaczego duże modele językowe to tylko połowa sukcesu

Dla Suttona modele językowe stanowią jednocześnie potwierdzenie i zaprzeczenie jego słynnej tezy. Z jednej strony, ich rozwój pokazuje, jak ogromna skala obliczeniowa i „wypijanie” zawartości internetu może przynieść przełomowe rezultaty. Z drugiej – modele te uderzają w ścianę dokładnie w tym momencie, w którym kończy się dostępna wiedza.

Sedno problemu leży w skończoności zasobów. Internet, choć ogromny, ma swoje granice, a świat rzeczywisty jest według Suttona „masowo większy niż wszystko, co zapisaliśmy w sieci”. W momencie, gdy modele wyczerpują dostępne dane, zaczynają nadmiernie polegać na ludzkiej wiedzy, co paradoksalnie ogranicza ich możliwości. To właśnie ten punkt Sutton uznaje za kluczową słabość obecnego podejścia.

Świat jest zbyt wielki na jakąkolwiek symulację

Odpowiedź na pytanie, czy dane syntetyczne mogą przełamać ten impas, jest u Suttona bezlitosna: „Nie, to po prostu wielki błąd”. Argumentacja opiera się na wspomnianej hipotezie Javeeda. Zakłada ona, że świat jest nieskończenie złożony i „masowo bardziej skomplikowany niż umysł jakiegokolwiek agenta”. Każda próba jego symulacji będzie więc jedynie mikroskopijnym, niedoskonałym odwzorowaniem.

Niedoskonałości te są widoczne na każdym kroku – od błędnych wartości tarcia w fizyce, po nieprecyzyjne modele zachowania silników robotów. Sutton zwraca również uwagę na aspekt, o którym często się zapomina: świat jest pełen innych agentów, których wewnętrzne mechanizmy działania są niemożliwe do wygenerowania jako dane syntetyczne. „Nie ma sposobu, aby stworzyć syntetyczne dane o umysłach innych ludzi” – podkreśla.

Wąskie gardło ludzkiej wiedzy

Drugim, równie istotnym problemem jest czynnik ludzki. Kto decyduje, które dane syntetyczne są wartościowe, a które nie? Według argumentacji Javeeda, do tej oceny potrzebni są eksperci. „Potrzebujesz ludzkich specjalistów, którzy wiedzą, co jest dobrym, a co złym zbiorem danych, aby to podejście mogło się skalować” – wyjaśnia Sutton. To sprawia, że cały proces staje się ograniczony przez dostępność ludzkiej ekspertyzy i nie skaluje się efektywnie.

Przykład z trenowaniem drona naśladującego nietoperza jest tu doskonałą ilustracją. Najpierw musielibyśmy zatrudnić ekspertów od echolokacji, aby stworzyli odpowiedni model. Nawet w przypadku pozornie prostszych zastosowań, jak autonomiczne samochody trenowane w symulacji, ludzie i tak muszą później korygować różnice między wirtualnym środowiskiem a rzeczywistością.

Alternatywa Suttona: nauka z własnego doświadczenia

Rozwiązaniem, które proponuje Sutton, jest całkowite usunięcie człowieka z pętli uczenia. Zamiast polegać na zamrożonych modelach symulacyjnych stworzonych przez ludzi, agent powinien sam budować swój model świata i nieustannie go korygować. „Symulatory, które tworzą sami” – mówi Sutton, podkreślając, że to agent ma być aktywnym uczestnikiem procesu poznawczego.

Krytyka Suttona dotyka również fundamentalnej cechy obecnych modeli językowych – ich statyczności po zakończeniu treningu. „Ich wagi nigdy się nie zmieniają” – zauważa. Zamiast tego potrzebne jest prawdziwe uczenie ciągłe (continual learning), które w jego ujęciu jest po prostu naturalną formą uczenia się. Kluczowe jest przy tym uniknięcie katastroficznego zapominania, czyli wymazywania wcześniej zdobytej wiedzy. Sutton wierzy, że to wyzwanie można rozwiązać, między innymi dzięki metodzie „Continual Backprop”, którą jego zespół opublikował w czasopiśmie „Nature”.

Mimo ostrej krytyki obecnych metod, Sutton nie umniejsza osiągnięć stojących za modelami językowymi. Nazywa je „niesamowitym naukowym przełomem”, ale zastrzega, że stanowią one zaledwie „20 czy 25 procent inteligencji”. Reszta, według niego, wymaga zupełnie innego podejścia – takiego, które pozwoli agentom uczyć się w interakcji z prawdziwym, nieskończenie złożonym światem.

Źródło

Może Cię zainteresować