Odkrycia o LLM szybko tracą ważność

Wiedza o dużych modelach językowych starzeje się w tempie, którego nie przewidziały nawet zespoły badawcze. Dwaj naukowcy ze Stanforda - Owen Queen i James Zou - sprawdzili, jak długo utrzymują się wnioski z publikacji poświęconych LLM-om. Wyniki pokazują skalę problemu: blisko połowa analizowanych twierdzeń przestała obowiązywać, a średni czas ich "ważności" nie przekracza półtora roku.

To nie tylko kwestia akademickiej precyzji. Jeśli ustalenia o zachowaniu modeli dezaktualizują się szybciej niż zdążymy je przeczytać, pod znakiem zapytania staje sposób, w jaki opisujemy możliwości sztucznej inteligencji - w badaniach, mediach i biznesie.

Jak badacze sprawdzili trwałość twierdzeń o LLM

Metoda była prosta, ale wymagająca. Zespół wybrał 50 często cytowanych twierdzeń dotyczących modeli językowych i zestawił je z wynikami 20 różnych systemów. Testowane modele pochodziły od ośmiu dostawców i zostały wydane między lipcem 2024 a wrześniem 2026 roku. Chodziło o sprawdzenie, czy zjawiska opisane w publikacjach nadal można zaobserwować w nowszych wersjach.

Wnioski okazały się jednoznaczne. 44 proc. analizowanych stwierdzeń określono jako "wygasłe" - opisany w nich efekt w dużej mierze zniknął. Kolejne 34 proc. osłabło na tyle, że trudno je uznać za aktualne. Zaledwie 16 proc. wniosków wciąż się potwierdza, a 6 proc. - ku zaskoczeniu autorów - umocniło się względem pierwotnych obserwacji.

Krótki żywot odkryć: średnio 15,7 miesiąca

Spośród 22 twierdzeń, dla których dało się oszacować moment dezaktualizacji, przeciętny czas życia wyniósł niespełna 16 miesięcy. Dynamika jest przy tym wyraźna: po roku nieaktualne było 16 proc. wniosków, po dwóch latach odsetek ten rósł do 39 proc. Widać więc, że problem narasta wraz z kolejnymi generacjami modeli.

Co ciekawe, tempo starzenia się wiedzy nie zależy w prosty sposób od daty premiery, dostawcy ani rozmiaru modelu. W tym samym oknie wydawniczym (lipiec-wrzesień 2026) liczba wygasłych twierdzeń wahała się od 11 w przypadku DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Sam rozmiar sieci czy renoma firmy nie chronią więc przed dezaktualizacją ustaleń.

Najszybciej starzeją się twierdzenia o ograniczeniach modeli

Autorzy zauważyli wyraźny wzorzec: najkrótszy żywot mają wnioski opisujące to, czego modele nie potrafią. Wszystkie dziewięć twierdzeń związanych z rozumowaniem uznano za wygasłe - żadne nie utrzymało się ani nie wzmocniło. Wśród nich znalazły się znane słabości, takie jak:

• problemy z liczeniem liter w słowie "strawberry",
• błędy w arytmetyce przy nietypowych systemach liczbowych,
• gubienie informacji ze środka długiego kontekstu,
• wycofywanie poprawnych odpowiedzi pod presją użytkownika.

Zdaniem badaczy to nie przypadek. Tego typu zadania mają jednoznacznie "poprawny" wynik, co daje zespołom trenującym model jasny cel optymalizacji. Łatwiej więc wyeliminować konkretny błąd niż zmienić ogólne skłonności systemu.

Co okazuje się trwalsze: preferencje i zachowania społeczne

Dłużej utrzymują się obserwacje dotyczące sposobu, w jaki modele oceniają i reagują. Spośród 11 twierdzeń, które się potwierdziły lub wzmocniły, aż trzy dotyczą roli LLM-ów jako ewaluatorów: modele preferują własne odpowiedzi, podobnie oceniają prace zaakceptowane i odrzucone, a także ulegają językowemu "podkręceniu" w abstraktach medycznych.

Kolejne trzy wiążą się z sykofancją, czyli skłonnością do przytakiwania użytkownikowi. Wśród trwałych zjawisk znalazły się też: lewicowe nachylenie polityczne, niemal identyczne odpowiedzi na pytania otwarte oraz nierównomierny rozkład przy generowaniu liczb losowych. To obszary, w których postęp techniczny najwyraźniej nie zmienia fundamentalnych wzorców.

Halucynacje: sukces, ale nie wszędzie

Autorzy przyjrzeli się bliżej jednemu z najbardziej nośnych zarzutów - zmyślaniu przypisów naukowych. W badaniu z 2023 roku, prowadzonym przez Waltersa i Wildera, GPT-3.5 fabrykował 55 proc. cytowanych źródeł. Powtórzenie tych samych promptów na współczesnych modelach dało skrajnie różne rezultaty.

GPT-6.1 Sol nie wymyślił ani jednego przypisu (0 proc.), a Claude Sonnet 5.5 - zaledwie 1 proc. Jednak Qwen3.7-Flash, również model z 2026 roku, wciąż tworzył fałszywe odnośniki w 69 proc. przypadków. Wniosek jest jasny: poprawa nie jest powszechna, a różnice między systemami pozostają ogromne.

Badacze przestrzegają przed ogłaszaniem sukcesu. W pytaniach dwuetapowych, wymagających połączenia dwóch znanych faktów, Claude Sonnet 5.5 wciąż myli się w około 10 proc. przypadków, mimo że poprawnie odpowiada na oba pytania osobno. W pierwotnej publikacji dla ChatGPT odsetek ten wynosił 43 proc. Podobnie "klątwa odwrócenia" oraz sprzeczne odpowiedzi na powiązane pytania czasowe osłabły, ale wciąż są wykrywalne.

Jak należy raportować wyniki badań nad LLM

Zespół ze Stanforda formułuje wniosek wykraczający poza samo zestawienie liczb. Ustalenia empiryczne o modelach językowych powinny być prezentowane jako obserwacje dotyczące konkretnych systemów w określonym momencie - nie jako uniwersalne prawdy o "sztucznej inteligencji".

Autorzy postulują, by publikacje dokumentowały wersję i datę modelu oraz udostępniały prompty i kod analizy. Dzięki temu kolejni badacze mogliby powtarzać testy na nowszych systemach i śledzić, które zjawiska się utrzymują. To zmiana podejścia z jednorazowego "odkrycia" na ciągły monitoring.

Badacze przywołują też wpis Andreja Karpathy'ego, współzałożyciela OpenAI, obecnie związanego z Anthropic. Zwracał on uwagę, że luki w postrzeganiu rzeczywistego zachowania LLM-ów wpływają na zaufanie do AI i częstotliwość jej użycia. Karpathy podkreślał również, że obecnie dostępne modele to jedynie zapowiedź przyszłych możliwości.

Ta ostatnia uwaga nadaje badaniu szerszy kontekst. Jeśli to, co dziś wiemy o modelach, za rok może okazać się nieprawdą, to zarówno badacze, jak i praktycy potrzebują nawyku weryfikacji zamiast polegania na utrwalonych przekonaniach. Trwałość wiedzy o AI przestaje być cechą publikacji, a staje się procesem.