Oak Lab: autonomiczne agenty AI według Suttona

Richard Sutton, laureat nagrody Turinga w 2024 roku i współtwórca uczenia przez wzmacnianie (reinforcement learning), właśnie ogłosił start nowego przedsięwzięcia. W Toronto, razem z Khurramem Javedem, założył startup Oak Lab. Obaj wcześniej pracowali w Keen Technologies – firmie Johna Carmacka, znanego z gier i雄心壮志 w AI. Sutton nie owija w bawełnę: obecne metody głębokiego uczenia (deep learning) nazywa słabymi i nieefektywnymi. Według niego potrzebujemy fundamentalnie nowych pomysłów, a nie kolejnych poprawek do istniejącego paradygmatu. Jego najnowsze wypowiedzi ujawniają, co zamierza zbudować w Oak Lab.

Dlaczego Oak Lab kwestionuje dzisiejsze głębokie uczenie

W czerwcu Sutton argumentował, że generatywna sztuczna inteligencja doskonale imituje ludzkie zachowania, ale nie potrafi oceniać własnych wyników. To zdaniem badacza uniemożliwia jej prawdziwe odkrywanie – maszyna powiela wzorce z danych, zamiast tworzyć nową wiedzę. Ten brak samooceny i zdolności do samodzielnej iteracji stanowi według niego główną przeszkodę w osiągnięciu bardziej ambitnych celów sztucznej inteligencji.

W odpowiedzi na te ograniczenia Oak Lab stawia na budowę agentów AI, które uczą się w sposób ciągły. Zamiast polegać na statycznych zbiorach treningowych, mają one zdobywać doświadczenie bezpośrednio z otoczenia. Każdy agent będzie sam konstruować wewnętrzne modele świata (world models), a także samodzielnie radzić sobie z różnorodnością, oceną i selekcją – bez udziału człowieka. To radykalne odejście od dominującego dziś podejścia opartego na ogromnych zbiorach danych i kosztownym fine-tuningu.

„Obecne metody głębokiego uczenia są słabe i nieefektywne. Potrzebujemy nie kolejnych poprawek, ale fundamentalnie nowych pomysłów i gruntownej przebudowy, zanim będą stanowić solidną podstawę do osiągnięcia ambitniejszych celów AI.”

Uczenie przez wzmacnianie w czasie rzeczywistym – nowa filozofia trenowania

Od pasywnych danych do aktywnego doświadczenia

Podobnie jak w Keen Technologies, Oak Lab stawia na uczenie przez wzmacnianie (reinforcement learning) jako podstawową metodę. Kluczowa różnica polega na tym, że agent ma uczyć się podczas działania – na żywo, w interakcji ze środowiskiem – a nie najpierw trenować na statycznym zbiorze danych, a potem wdrażać. Sutton uważa, że to jedyna droga do prawdziwej autonomii. Zamiast miliardów przykładów z internetu, agent będzie zdobywać informacje zwrotne w miarę podejmowania decyzji.

Cel: bilion parametrów przy 20 watach

Długoterminowa wizja Oak Lab brzmi jak science fiction: agent z bilionem parametrów, który uczy się i planuje w czasie rzeczywistym, zużywając przy tym zaledwie 20 watów energii. Dla porównania dzisiejsze największe modele (np. GPT-4 czy Llama 3) do trenowania potrzebują megawatów, a do wnioskowania setki watów. Sutton chce udowodnić, że skalowanie nie musi oznaczać gigantycznego zużycia energii, jeśli połączymy odpowiednią architekturę z ciągłym uczeniem się.

Generatywna AI: imitacja bez odkrycia?

Jednym z najbardziej kontrowersyjnych argumentów Suttona jest teza, że obecne modele generatywne osiągnęły plateau. Potrafią one produkować przekonujące teksty, obrazy czy kod, ale nie są w stanie samodzielnie stawiać hipotez ani weryfikować ich w świecie. Sutton wskazuje, że brakuje im właśnie tej pętli sprzężenia zwrotnego – zdolności do oceny własnych wyników i korygowania ich na podstawie rzeczywistych konsekwencji.

W Oak Lab chcą zbudować agenty, które będą działać w modelu odkrywania: eksplorować otoczenie, budować reprezentacje, testować je i selekcjonować te, które prowadzą do lepszych rezultatów. To podejście bliższe jest biologicznemu uczeniu się niż dzisiejszemu deep learningowi. Sutton wierzy, że właśnie taka architektura pozwoli AI przekroczyć granicę między imitacją a prawdziwym poznaniem.

Perspektywy dla branży i otwarte pytania

Oak Lab to na razie mały startup w Toronto, ale nazwiska za nim stojące budzą respekt. Sutton to nie tylko laureat Turinga, ale postać, która zdefiniowała uczenie przez wzmacnianie – technikę stojącą za sukcesami AlphaGo czy robotyki. Khurram Javed wnosi doświadczenie z Keen Technologies, gdzie pracowano nad podobnymi koncepcjami. Partnerstwo z Johnem Carmackiem (choć pośrednie) również wskazuje, że firma może liczyć na wsparcie wizjonerów technologii.

Czy Oak Lab rzeczywiście zrewolucjonizuje AI? To jeszcze nieprzesądzone. Sutton sam przyznaje, że potrzebujemy fundamentalnie nowych pomysłów – i właśnie takie chce testować w swojej firmie. Jeśli uda mu się choć w części zrealizować wizję agenta z bilionem parametrów działającego przy 20W, może to oznaczać przełom w dziedzinie autonomicznych systemów. Na razie świat obserwuje, czy ten eksperyment przyniesie owoce, czy będzie kolejną śmiałą wizją bez praktycznego przełożenia.