WikiSkill: trwała pamięć dla agentów AI

Współczesne modele językowe wciąż borykają się z fundamentalnym problemem – nie posiadają ciągłej zdolności uczenia się. Każde nowe zadanie traktują jak pierwsze, bez pamięci o wcześniejszych doświadczeniach. Zespół badawczy Google postanowił obejść to ograniczenie, tworząc system o nazwie WikiSkill. Zamiast przełamywać bariery architektoniczne, naukowcy opracowali praktyczne rozwiązanie: agenci AI sami spisują sobie instrukcje na przyszłość, bazując na tym, co już przetestowali.

Pomysł czerpie z koncepcji „LLM Wiki”, którą popularyzował Andrej Karpathy. Chodzi o gromadzenie doświadczeń w trwałej, stale rosnącej bazie wiedzy. WikiSkill przenosi tę ideę na grunt automatycznego rozwoju umiejętności agentów AI. Choć rozwiązanie nie jest idealne i może generować więcej błędów niż prawdziwe uczenie, badania pokazują, że skutecznie rekompensuje braki modeli.

Trzy warstwy porządkujące wiedzę agenta

Architektura WikiSkill opiera się na trzech wyraźnie oddzielonych poziomach, które odpowiadają za różne typy informacji. Taki podział pozwala na bezpieczne eksperymentowanie bez ryzyka utraty cennych danych.

Surowy zapis i destylacja wiedzy

Najniższa warstwa, nazwana „Raw Layer”, przechowuje kompletne ślady wykonania zadań – od wywołań narzędzi po końcowe rezultaty. Te dane są niezmienne i stanowią materiał wyjściowy dla całego systemu. Nad nimi znajduje się „Wiki Layer”, gdzie surowe informacje przekształcane są w ustrukturyzowane wnioski. To tutaj trafiają udokumentowane wzorce porażek oraz sprawdzone strategie działania. Ta warstwa nigdy nie jest resetowana – z każdą iteracją jedynie się powiększa.

Warstwa umiejętności z możliwością wycofania

Najwyższy poziom, „Skill Layer”, zawiera aktywne instrukcje proceduralne, którymi agent kieruje się podczas wykonywania zadań. W przeciwieństwie do wiki, umiejętności można wycofać, jeśli aktualizacja pogorszy wyniki. To kluczowa zaleta – system może testować nowe podejścia bez ryzyka trwałego uszkodzenia swojej bazy wiedzy.

Jak przebiega cykl uczenia się WikiSkill

Proces doskonalenia umiejętności przebiega w czterech etapach, tworząc zamkniętą pętlę feedbacku. Każdy krok pełni określoną funkcję i współpracuje z pozostałymi warstwami systemu.

  1. Agent wnioskujący wykonuje zadania, korzystając z bieżących umiejętności i generuje ślady wykonania.
  2. „Wiki Maintainer” analizuje te ślady, wykrywa wzorce porażek i skuteczne strategie, a następnie zapisuje wnioski w wiki.
  3. „Skill Proposer” na podstawie zaktualizowanej wiki i danych wykonawczych sugeruje konkretne zmiany w umiejętnościach.
  4. Mechanizm bramkujący testuje proponowaną zmianę na osobnym zbiorze walidacyjnym, potwierdzając jej faktyczną przydatność.

Jeśli test wypadnie negatywnie, umiejętność zostaje wycofana, ale wiki pozostaje nietknięta. Co istotne, nawet odrzucone propozycje nie przepadają – dokumentacja zawiera informacje o tym, co próbowano i dlaczego się nie udało. Dzięki temu Skill Proposer może w przyszłych iteracjach budować na tych doświadczeniach.

Wyniki testów i wpływ na różne modele

Badacze przetestowali WikiSkill na pięciu benchmarkach obejmujących rozumowanie matematyczne, wyszukiwanie w sieci, operacje na arkuszach kalkulacyjnych, odpowiadanie na pytania na podstawie dokumentów oraz zadania interaktywne w wirtualnym środowisku. W eksperymentach wykorzystano modele Qwen (4B, 9B, 27B), Gemma-4-31B oraz Gemini-3.5-Flash.

Wyniki pokazują wyraźną przewagę WikiSkill nad innymi metodami ewolucji umiejętności. Średnio framework podniósł skuteczność Gemini-3.5-Flash z 49,5% do 68,1%, a Qwen-3.6-27B z 39,4% do 63,3%. W poszczególnych zadaniach poprawa bywa jeszcze bardziej spektakularna – Gemini-3.5-Flash zanotował skok z 33,0% do 72,6% w benchmarku LiveMath i z 50,5% do 76,6% w SpreadSheet.

Większe modele zyskują więcej, ale mniejsze nadrabiają dystans

Zyski różnią się jednak znacząco w zależności od typu zadania. Największą poprawę zaobserwowano w problemach matematycznych i operacjach na arkuszach kalkulacyjnych, podczas gdy zadania z długimi kontekstami dokumentów (OfficeQA) przyniosły znacznie mniejsze korzyści. Badacze tłumaczą, że mniejsze modele, jak Qwen-3.5-4B, mają trudności z niezawodnym wykonywaniem wyewoluowanych, wieloetapowych strategii wyszukiwania w długich kontekstach i wracają do swojego domyślnego zachowania.

Większe modele generalnie czerpią więcej korzyści z wyewoluowanych umiejętności. Co ciekawe, mniejsze modele korzystające z WikiSkill potrafią dorównać wydajnością większym modelom bez tego frameworka. Dodatkowo, umiejętności opracowane przez jeden model często przenoszą się na inny i czasami działają nawet lepiej niż umiejętności, które model docelowy zbudował samodzielnie. Ponieważ nie zawsze tak jest, przenośność powinno się raczej weryfikować indywidualnie dla każdego przypadku.

WikiSkill pokazuje, że nawet bez przełamywania fundamentalnych ograniczeń architektury modeli można znacząco poprawić ich praktyczną użyteczność. Systematyczne dokumentowanie doświadczeń i stopniowe doskonalenie instrukcji to podejście, które może znaleźć zastosowanie w rzeczywistych wdrożeniach agentów AI, gdzie każda iteracja przybliża do coraz lepszych rezultatów. To pragmatyczny krok w stronę bardziej autonomicznych systemów, które uczą się na własnych błędach – nawet jeśli robią to w sposób daleki od doskonałości.

Źródło

Może Cię zainteresować