Wnętrze modelu AI zdradza kroki rozumowania

Modele językowe rozwiązujące zadania krok po kroku wykonują po drodze różne operacje: czytają dane, rozbijają problem, przywołują wzór, liczą. Zespół naukowców z południowokoreańskiego KAIST oraz Naver AI Lab postanowił sprawdzić, czy te etapy rozumowania można wyodrębnić również z wewnętrznych reprezentacji liczbowych modelu — nie tylko z jego tekstowego wyjścia. Wyniki badania sugerują, że jest to możliwe, a najwyraźniejszy sygnał pojawia się w środkowych warstwach sieci.

Jak badacze szukali śladów rozumowania w sieci neuronowej

Aby odpowiedzieć na to pytanie, zespół zdefiniował osiem powtarzających się operacji rozumowania, do których zaliczył m.in. ekstrakcję danych, dekompozycję problemu, przywołanie wzoru, dedukcję oraz obliczenia. Następnie poprosił trzy modele — Qwen2.5-7B, Qwen3-8B i Gemma4-31B — o rozwiązywanie zadań matematycznych. Ścieżki rozwiązań podzielono na segmenty, a każdy z nich oznaczył model GPT-5, przypisując mu jedną z ośmiu operacji.

Kolejnym krokiem było sprawdzenie, czy owe etykiety mają odzwierciedlenie w aktywacjach wewnątrz sieci. Okazało się, że poszczególne operacje dają się od siebie niezawodnie odróżnić, a podział ten utrzymuje się we wszystkich trzech testowanych modelach. Największa separacja występuje w warstwach środkowych.

To nie tylko kwestia doboru słów

Badacze zadbali o wykluczenie prostszych wyjaśnień. Sprawdzili choćby, czy za efekt odpowiada wyłącznie dobór tokenów. Klasyfikator oparty jedynie na używanych słowach wypadł gorzej niż ten analizujący wewnętrzne reprezentacje. Pozycja segmentu w ścieżce rozwiązania również nie tłumaczyła zjawiska. Oznacza to, że stany wewnętrzne modelu niosą informację o typie operacji rozumowania, która wykracza poza powierzchniową warstwę słowną.

Te same słowa, inne reprezentacje

Szczególnie ciekawy okazał się przypadek popularnych słów funkcyjnych, takich jak „a”, „is” czy „the”. Pojawiają się one w bardzo różnych krokach rozumowania. We wczesnych warstwach ich reprezentacje są jeszcze wymieszane, ale w środkowych i późniejszych rozdzielają się zgodnie z operacją, w której dane słowo występuje. Innymi słowy, ten sam wyraz otrzymuje odmienną reprezentację wewnętrzną w zależności od tego, do jakiego etapu rozumowania należy.

Krok rozumowania nie powstaje w izolacji

Naukowcy sprawdzili też, czy dany etap rozumowania może uformować się samodzielnie. Gdy za pomocą ukierunkowanej interwencji zablokowali uwagę modelu na poprzedzających 30 tokenach, sygnał dla tej operacji osłabł. Wniosek jest taki, że kroki rozumowania nie pojawiają się w oderwaniu od kontekstu, lecz budują na tym, co je poprzedza.

Co dzieje się, gdy model się myli

Separacja operacji utrzymywała się nawet wtedy, gdy model rozwiązywał zadanie błędnie. Typ wykonywanego kroku pozostawał rozpoznawalny — czy chodziło o obliczenie, przywołanie wzoru, czy dedukcję. Wadliwie przeprowadzone obliczenie nadal wewnętrznie wyglądało jak obliczenie, mimo że wynik był niepoprawny.

Wyniki powtórzono w dodatkowych testach. Zjawisko odtworzono z modelem Llama-3-8B, a dla Qwen3-8B wytrenowane klasyfikatory z powodzeniem przeniesiono na zbiory GPQA-Diamond i MATH-500. Badacze zaznaczają jednak ograniczenia: eksperymenty dotyczą wyłącznie zadań matematycznych i kilku modeli. To, czy odkrycie posłuży do wychwytywania błędów lub sterowania modelem w trakcie generowania odpowiedzi, pozostaje otwartym pytaniem na przyszłość.

Dlaczego to ważne dla bezpieczeństwa AI

Relacja między tekstem wyjściowym a wewnętrznym przetwarzaniem ma znaczenie dla bezpieczeństwa systemów AI. Jak przypomina OpenAI, czytanie łańcucha myśli to jedno z niewielu dostępnych narzędzi nadzoru. Anthropic wykazał jednak, że modele ujawniają wskazówki, z których korzystały, tylko w 25–39 procentach przypadków. Metoda tłumacząca wewnętrzne wektory modelu na czytelny tekst pokazała z kolei, że Claude Opus 4.6 przetwarza więcej, niż wynika to z jego jawnego rozumowania. W przypadku modelu Astra od OpenAI technika Recurrent Depth przenosi część rozumowania do wewnętrznych reprezentacji liczbowych — czyli dokładnie w tę przestrzeń, którą bada zespół z KAIST.

Badanie pokazuje więc, że wewnętrzne stany modelu zawierają czytelny zapis tego, co dzieje się na poszczególnych etapach rozumowania. Na razie to wiedza ograniczona do zadań matematycznych i wąskiej grupy modeli. Jeśli jednak uda się ją wykorzystać szerzej, nadzór nad systemami AI mógłby opierać się nie tylko na tym, co model mówi, ale też na tym, co faktycznie robi w środku.