Agenci AI gubią poczucie czasu. Nowe badania

Wyobraź sobie pracownika, który nie wie, ile czasu zajęło mu wykonanie zadania i nie potrafi przewidzieć, ile zajmie kolejne. Do tego ocenia swoje wyniki jako znakomite, nawet gdy są bliskie porażki. Tak właśnie działają najpopularniejsze asystenty kodowania oparte na sztucznej inteligencji. Najnowsze badanie przeprowadzone w ramach programu MATS przez dwóch niezależnych badaczy AI ujawnia poważne ograniczenia systemów Claude Code od Anthropic oraz Codex od OpenAI.

Naukowcy przetestowali oba narzędzia na zestawie 200 zadań z kolekcji ProgramBench oraz 18 własnych benchmarkach. Wyniki pokazują, że modele mają fundamentalny problem z temporalną percepcją – nie rozumieją upływu czasu, co stanowi istotną przeszkodę w ich wykorzystaniu do długotrwałych, złożonych projektów.

Systematyczne błędy w szacowaniu czasu

W pierwszej fazie eksperymentu agenci mieli oszacować, ile czasu zajmie im wykonanie zadania, a następnie – po jego ukończeniu – podać, ile faktycznie minęło. Wyniki okazały się zaskakująco nieprecyzyjne. Oba modele regularnie przeszacowywały potrzebny czas, niezależnie od trudności zadania.

Na zbiorze ProgramBench systemy najczęściej typowały około 90 minut, nawet gdy zadanie było znacznie prostsze. W drugiej rundzie testów, dotyczącej oceny czasu już po wykonaniu pracy, błędy były jeszcze większe. Claude mylił się średnio trzykrotnie, a Codex – od sześciu do dziesięciu razy. Co istotne, największe rozbieżności dotyczyły krótkich zadań, podczas gdy w przypadku prac trwających kilka godzin część przewidywań zbliżała się do rzeczywistości.

Ta nieumiejętność oceny czasu ma bezpośrednie przełożenie na praktyczne zastosowania. Jeśli system nie wie, jak długo pracuje, trudno nim sterować w sytuacjach, gdy wymagane jest działanie w określonym przedziale czasowym.

Konfiguracja oprogramowania zmienia zachowanie modelu

Badacze odkryli również, że sposób działania agentów zależy w dużej mierze od środowiska, w którym pracują. Claude Code kontynuuje pracę, dopóki nie uzna zadania za ukończone – średnio około 90 minut. Codex natomiast zatrzymuje się po mniej więcej pół godzinie, niemal bez względu na charakter zadania.

Różnice widać także w liczbie kroków podejmowanych przez model. Ten sam model językowy wykonuje średnio 2,5 razy więcej operacji w środowisku Claude Code niż w Codex. Oznacza to, że czas działania zależy nie tylko od samego modelu, ale przede wszystkim od otaczającego go oprogramowania, nazywanego w branży harnessem.

To odkrycie ma istotne implikacje dla firm wdrażających rozwiązania AI. Wybór odpowiedniego środowiska może być równie ważny jak wybór samego modelu, a optymalizacja jednego bez drugiego może nie przynieść oczekiwanych rezultatów.

Brak samoświadomości jakości własnej pracy

Jeszcze bardziej niepokojące są wyniki dotyczące samooceny. Starsze modele – Opus 4.8 i GPT-5.5 – zawyżały ocenę swoich wyników średnio o 20 punktów procentowych. Co gorsza, przyznawały sobie wysokie noty nawet w przypadku całkowicie nieudanych zadań.

W jednym z przypadków oba systemy oceniły swoją skuteczność na około 70 procent. Rzeczywiste wyniki wyniosły zaledwie 7 i 14,5 procenta. To pokazuje, jak bardzo modele mogą być oderwane od rzeczywistości, jeśli chodzi o ocenę własnych osiągnięć.

Zdaniem badaczy umiejętność trafnej samooceny ma kluczowe znaczenie dla niezawodności agentów. Aby system mógł pracować nad zadaniami trwającymi wiele godzin, musi rozumieć polecenia typu „iteruj nad tym zadaniem przez dwie godziny”. Agent, który nie potrafi ocenić upływu czasu ani jakości swojej pracy, staje się trudny do kontrolowania.

Badacze planują w kolejnym kroku sprawdzić, czy agenci potrafią trzymać się z góry określonego czasu pracy. Wstępne wyniki dają pewien powód do optymizmu – gdy modele otrzymały narzędzie raportujące upływ czasu, niemal zawsze poprawnie określały, ile go minęło. To sugeruje, że problem leży nie tyle w samych modelach, ile w braku odpowiednich mechanizmów monitorowania czasu w ich środowisku pracy.

Wnioski z badania rzucają nowe światło na ograniczenia obecnych systemów AI. Choć asystenci kodowania osiągają imponujące wyniki w pojedynczych zadaniach, ich przydatność w długotrwałych, autonomicznych projektach pozostaje ograniczona. Rozwiązanie problemu percepcji czasu może być kluczem do stworzenia w pełni niezależnych agentów, zdolnych do samodzielnej pracy przez wiele godzin bez stałego nadzoru człowieka.

Źródło

Może Cię zainteresować