Modele świata i umysłu: nowa granica badań nad AI

Wyobraź sobie sytuację: ktoś przenosi kubek do szafki, gdy druga osoba nie patrzy. Dla klasycznego modelu świata scenografia jest poprawna – kubek po prostu zmienił lokalizację. Jednak przewidzenie kolejnego ruchu człowieka wymaga czegoś więcej. Trzeba wiedzieć, co ta osoba myśli o położeniu kubka. To właśnie ta luka – pomiędzy fizyczną rzeczywistością a stanem umysłu – stała się punktem wyjścia dla nowego podejścia badawczego.

Międzynarodowy zespół naukowców opracował framework o nazwie „Mental World Modeling” (MWM), który rozszerza klasyczne modele świata o zmienne mentalne: przekonania, uwagę, cele, intencje, emocje, normy społeczne i relacje międzyludzkie. Publikacja wraz z implementacją trafiła na GitHub, a wyniki testów wskazują na znaczącą poprawę trafności przewidywań.

Dlaczego czysto fizyczny model świata nie wystarcza

Autorzy pracy ilustrują problem prostym przykładem. Gdy kubek znika do szafki pod nieobecność właściciela, fizyczny model świata widzi poprawną scenę. Jednak przewidywana akcja będzie błędna, bo model nie uwzględnia przekonania osoby o tym, gdzie kubek się znajduje. Dopiero model śledzący stan wiedzy bohatera sceny jest w stanie wyjaśnić, co ta osoba faktycznie zrobi.

Kluczowa różnica polega na rozdzieleniu działania na dwa komponenty. Każda akcja ma fizyczny nośnik – mówienie, wskazywanie, chwytanie – oraz mentalny ładunek, czyli intencję: pocieszenie, oszustwo lub odrzucenie. Ten sam gest przesunięcia kubka po stole może być przeprosinami, manipulacją albo wyrazem troski. Rozróżnienie tych znaczeń wymaga zmiennych, które przechowuje wyłącznie model świata.

MWM łączy fizyczne i mentalne stany świata, renderuje widok z perspektywy pierwszej osoby dla agenta docelowego i symuluje, jak dana akcja zmienia oba typy stanów. Co istotne, autorzy nie twierdzą, że symulują świadomość. Stany mentalne są tutaj hipotezami wyprowadzanymi z zachowania i kontekstu, a nie pomiarami. Systemy oparte na tym frameworku powinny reprezentować niepewność i utrzymywać transparentność swoich założeń.

MENTIS: referencyjna implementacja bez dodatkowego treningu

Aby przetestować teorię w praktyce, badacze zbudowali MENTIS – modułowy pipeline, który nie wymaga dodatkowego trenowania modeli. Proces składa się z sześciu etapów. Najpierw scena jest parsowana, a perspektywa pierwszej osoby renderowana. Następnie opcje działania dzielone są na komponenty fizyczne i mentalne, a wynikające z nich stany symulowane równolegle.

Każda gałąź otrzymuje ocenę według trzech kryteriów:

  • fizyczna wiarygodność działania,
  • spójność mentalna z przekonaniami postaci,
  • społeczna adekwatność zachowania.

Po ocenie pipeline podejmuje deterministyczną decyzję. Każdy etap zapisuje wynik pośredni w formacie czytelnym dla maszyn, co umożliwia prześledzenie błędów aż do konkretnego kroku. MENTIS rozdziela każdą opcję odpowiedzi do osobnej gałęzi symulacji i dopiero potem wybiera najlepszą, punktując według wspomnianych kryteriów.

Do ewaluacji powstał zbiór Menti-Bench zawierający 448 scen decyzyjnych: 320 opisów tekstowych, 100 historyjek obrazkowych i 28 klipów dźwiękowo-wideo. Każda scena oferuje sześć opcji odpowiedzi oraz referencyjne rozwiązanie stworzone przez człowieka, dokumentujące nie tylko poprawną akcję, ale też leżące u jej podstaw stany mentalne i fizyczne. Aż 78 procent scen angażuje co najmniej dwie postacie.

Wyniki testów: od 63 do 88 punktów F1

Zespół przetestował osiem modeli językowych, w tym pięć od OpenAI (między innymi GPT-5.6-Sol i GPT-4.1) oraz trzy od Anthropic (Claude Fable 5, Claude Opus 4.8, Claude Haiku 4.5). Jako metrykę dokładności przyjęto wynik F1, łączący precyzję i czułość dla wybranej akcji.

Wyniki pokazują wyraźną tendencję: każda dodana warstwa modelowania podnosi skuteczność. Bezpośrednie odpowiedzi osiągają 63,3 punktu. Samokonsystencja – czyli odpowiadanie na to samo pytanie sześć razy i wybór najczęstszej odpowiedzi – podnosi wynik do 77,9. Pełny pipeline MWM osiąga 87,9 punktu. Dla porównania, ludzie w tym samym protokole uzyskują 98,5 punktu.

Co istotne, tych zysków nie da się osiągnąć zwykłym zwiększaniem liczby prób odpowiedzi. Najsłabszy model z MWM (GPT-4.1, 84,9 punktu) pokonuje najmocniejszy model odpowiadający bezpośrednio z samokonsystencją (GPT-5.6-Sol, 83,6 punktu). Dodatkowe testy potwierdzają kluczowe założenia frameworku:

  • usunięcie kanału mentalnego obniża wyniki średnio o 12,1 punktu,
  • usunięcie kanału fizycznego obniża wyniki o 16,5 punktu,
  • niezależne przewidywanie obu typów przejść zamiast sprzężonego kosztuje 6,4 punktu.

Największy pojedynczy efekt przynosi dostarczenie poprawnych przejść stanów, co wskazuje na symulację następnego stanu jako centralne wąskie gardło. Modelowanie mentalne daje największe korzyści dokładnie tam, gdzie przewiduje teoria: w scenach interpersonalnych poprawa wynosi 26,4 punktu F1, podczas gdy w scenach skupionych na obiektach tylko 14,0 punktu. Słabsze modele bazowe zyskują więcej na jawnej strukturze niż mocniejsze – różnica między MWM a bezpośrednimi odpowiedziami wynosi 28 punktów dla GPT-4.1, ale tylko 21 dla GPT-5.6-Sol.

Gdzie tkwi pozostała luka do ludzkiej wydajności

Badacze zbadali również, skąd bierze się pozostała różnica względem ludzi. Zastępując poszczególne etapy pipeline’u ludzkim rozwiązaniem referencyjnym, odkryli, że największy pojedynczy zysk dają idealne przejścia stanów (+3,5 punktu), następnie idealny stan początkowy (+2,8) i idealna obserwacja (+1,7). Gdy wszystkie etapy pośrednie zastąpiono rozwiązaniem referencyjnym, pipeline osiąga 97 punktów.

Około 80 procent pozostałej luki można przypisać błędom przewidywania na etapach pośrednich, głównie w symulacji przejść. Jak podkreślają autorzy, wyzwaniem nie jest opisanie bieżącego stanu, lecz symulacja, jak sprzężony fizyczno-mentalny świat się zmienia. To właśnie tam powinny trafić przyszłe ulepszenia.

Szerszy kontekst: spór o definicję modeli świata

Modele świata uznawane są za wielki zakład po czystych modelach językowych. Demis Hassabis, który niedawno ustąpił ze stanowiska operacyjnego szefa Google DeepMind, przyznaje, że poświęca większość czasu badawczego temu tematowi i spodziewa się „momentu ChatGPT” dla tych systemów. Inwestorzy przeznaczają setki milionów dolarów na startupy takie jak Odyssey.

Jednak definicja modelu świata wciąż budzi spory. Międzynarodowy zespół pod kierownictwem Uniwersytetu Pekińskiego zaproponował niedawno węższą definicję, wykluczającą modele tekst-wideo jak Sora, ponieważ brak im pętli sprzężenia zwrotnego z rzeczywistym światem. Yann LeCun od lat argumentuje, że podejście generatywne jest ślepą uliczką, i opowiada się za abstrakcyjnymi reprezentacjami. Nowa praca grupuje Sora, Genie i JEPA w jedną rodzinę i krytykuje wszystkie za to samo pominięcie.

Kwestia stanów mentalnych powraca do obszaru, w którym modele językowe systematycznie zawodziły. Zespół z laboratorium FAIR Meta oraz uniwersytetów w Waszyngtonie i Carnegie Mellon wykazał wcześniej, że modele nie radzą sobie z wymagającymi testami teorii umysłu, a śledzenie stanów świata idzie im nawet gorzej niż przypisywanie przekonań. Framework MWM aplikuje te stany z zewnątrz przez pipeline przetwarzania wstępnego. Wewnątrz samych modeli zaczyna się jednak formować coś podobnego – Anthropic odkrył wewnętrzny scratchpad w Claude, który przechowuje myśli podobne do słów, nigdy niewypowiedziane, a bez którego wieloetapowe rozumowanie zawodzi.

Mental World Modeling nie jest więc kolejnym chwytem marketingowym, lecz próbą zaadresowania fundamentalnego ograniczenia obecnych systemów AI. Łącząc fizyczną i mentalną symulację, framework otwiera drogę do systemów, które lepiej rozumieją nie tylko to, co się dzieje, ale i to, co ludzie o tym myślą. Pozostaje pytanie, czy wewnętrzne reprezentacje mentalne wyłaniające się w modelach takich jak Claude okażą się bardziej skuteczne niż jawne struktury narzucane z zewnątrz.

Źródło

Może Cię zainteresować