Google chce nauczyć LLM spać. Nowy framework AI

Duże modele językowe (LLM) potrafią prowadzić rozmowy, pisać kod i rozwiązywać zadania, które jeszcze kilka lat temu wydawały się zarezerwowane dla ludzi. Mają jednak poważną słabość: gdy uczą się czegoś nowego, często bezpowrotnie tracą wcześniejszą wiedzę. Zjawisko to nazywa się katastrofalnym zapominaniem (catastrophic forgetting) i od lat stanowi jedno z głównych wyzwań w rozwoju sztucznej inteligencji. Zespół badaczy z Google proponuje rozwiązanie, które brzmi zaskakująco znajomo - inspirowane snem.

Na czym polega problem z pamięcią modeli językowych

Współczesne LLM-y, takie jak GPT-4 czy Gemini, zostały wytrenowane na ogromnych zbiorach danych i radzą sobie z generowaniem spójnych odpowiedzi. Ich pamięć ma jednak charakter statyczny. Kiedy model jest dostrajany (fine-tuning) na nowych danych, parametry odpowiedzialne za wcześniejszą wiedzę ulegają nadpisaniu. Efekt? Model potrafi nauczyć się nowego zadania, ale traci umiejętność wykonania tego, co opanował wcześniej.

Drugi problem dotyczy uczenia w trakcie sesji. Informacje zdobyte podczas rozmowy z użytkownikiem są zwykle odrzucane po jej zakończeniu. Model nie kumuluje doświadczeń, nie dostosowuje się do preferencji konkretnej osoby i nie rozwija się w czasie. To ogranicza jego elastyczność i sprawia, że każde spotkanie zaczyna się od zera.

Oba te ograniczenia pokazują, że potrzebne jest podejście pozwalające modelom uczyć się w sposób ciągły, bez niszczenia fundamentów, na których zostały zbudowane.

Framework snu - rozwiązanie inspirowane biologią

Naukowcy z Google zaproponowali mechanizm, który naśladuje sposób, w jaki ludzki mózg porządkuje wspomnienia podczas snu. W czasie odpoczynku nasz układ nerwowy reorganizuje, wzmacnia i konsoliduje ślady pamięciowe. Analogicznie, framework snu dla LLM wprowadza fazy offline, w których model przetwarza nowo zdobytą wiedzę i włącza ją do swojej bazy, nie uszkadzając wcześniejszych informacji.

Kluczowym elementem konstrukcji jest architektura określana jako "mixture of experts" (mieszanka ekspertów). Dzięki niej aktualizacje dotyczą wyłącznie wyodrębnionych bloków pamięci, a parametry niezwiązane z nowymi danymi pozostają nietknięte. To minimalizuje ryzyko zakłócenia istniejącej wiedzy i pozwala modelowi rozwijać się w sposób kontrolowany.

Faza aktywnego czuwania

Podczas interakcji z użytkownikiem model gromadzi nowe informacje i zapisuje je tymczasowo w wydzielonych warstwach. Ten etap nie modyfikuje jeszcze rdzenia wiedzy - chodzi o to, by wychwycić istotne dane i przygotować je do późniejszej integracji.

Faza snu i konsolidacji

W trybie offline model przetwarza zgromadzony materiał za pomocą trzech mechanizmów zapożyczonych z neurobiologii:

• Zasiewanie wiedzy (knowledge seeding) - model generuje syntetyczne dane na podstawie nowych informacji i wykorzystuje je do samodzielnego treningu, utrwalając zrozumienie materiału.
• Przycinanie synaptyczne (synaptic pruning) - tymczasowe warstwy utworzone w fazie czuwania są czyszczone, co optymalizuje zużycie pamięci.
• Śnienie (dreaming) - generowane są syntetyczne pytania ćwiczeniowe, które po filtracji służą do samooceny i dopracowania nowej wiedzy.

Dzięki temu dwuetapowemu procesowi model włącza nowe umiejętności w sposób uporządkowany, zachowując przy tym dotychczasowe kompetencje.

Wyniki wstępnych testów i ich ograniczenia

Badacze sprawdzili framework na małych modelach, które uczyły się dwóch rzadkich języków: mandżurskiego i kalamang. Rezultaty okazały się obiecujące - sieci zapamiętały pierwszy język, jednocześnie przyswajając drugi. W tradycyjnym dostrajaniu nowa wiedza zwykle wypierała starą, tutaj udało się tego uniknąć. Odnotowano również stopniowe poprawy w testach porównawczych, takich jak zadania ARC czy konkursy matematyczne.

Entuzjazm studzi jednak rachunek kosztów. Cykle snu wymagają znacznie większych nakładów obliczeniowych niż istniejące metody, w tym SEAL (Self-Evolving Artificial Learner). Do tego dochodzą ograniczenia metodologiczne:

• testy przeprowadzono wyłącznie na małych modelach, a wyniki nie zostały niezależnie zweryfikowane ani powtórzone na większych systemach;
• wysokie koszty obliczeniowe sprawiają, że podejście jest mniej efektywne niż klasyczny fine-tuning;
• twierdzenia o przewadze nad modelami pokroju GPT-4 opierają się na kontrolowanych warunkach eksperymentalnych i nie zostały potwierdzone w rzeczywistych zastosowaniach.

Framework nie został też wdrożony w komercyjnych systemach AI ani chatbotach. Obecne rozwiązania opierają się na pamięci opartej na wyszukiwaniu (retrieval-based memory), która przechowuje dane sesji osobno, bez ingerencji w strukturę modelu. Podejście Google wymaga natomiast fundamentalnych zmian w samym modelu - a to oznacza duże zapotrzebowanie na moc obliczeniową i infrastrukturę.

Co dalej z ciągłym uczeniem modeli

Framework snu to ciekawy kierunek w stronę systemów AI, które uczą się w sposób ciągły i zachowują stabilną bazę wiedzy. Jeśli uda się rozwiązać problemy z wydajnością obliczeniową, modele mogłyby zyskiwać nowe kompetencje bez konieczności pełnego retreningu - a to zmieniłoby sposób ich utrzymania i rozwoju.

Na razie pozostaje jednak wiele do zrobienia. Potrzebne są dalsze badania, niezależna walidacja i optymalizacja kosztów, zanim koncepcja trafi do praktycznych zastosowań. Sam pomysł jest jednak wart uwagi - pokazuje, że projektanci AI coraz częściej sięgają po rozwiązania podpatrzone w naturze, by rozwiązać problemy, z którymi nie radzą sobie klasyczne metody uczenia maszynowego.