Autonomiczne badania AI: mit czy rzeczywistość?

Laboratoria AI prześcigają się w deklaracjach o tym, że ich modele wkrótce samodzielnie poprowadzą badania naukowe. Najnowsze niezależne testy pokazują jednak, że do tego momentu wciąż daleko. Naukowcy opracowali metodę „Shadow Evaluation” i poddali nią czołowe modele językowe. Wyniki są jednoznaczne: inżynieria działa, ale naukowe myślenie już nie.

Badacze zwracają uwagę na fundamentalny problem w ocenie postępów AI w nauce. Dotychczasowe testy opierały się albo na wąskich, łatwych do zweryfikowania zadaniach, albo na wysyłaniu wygenerowanych prac do recenzji w czasopismach. Ta druga metoda jest ich zdaniem zawodna – proces recenzyjny bywa „przeciążony, losowy i charakteryzuje się niską jakością ocen”. To sprawia, że pojedyncza akceptacja artykułu niewiele mówi o faktycznych możliwościach modelu.

Jak działa Shadow Evaluation?

Zespół badawczy zaproponował inne podejście. Zamiast oceniać gotowe prace, postanowił sprawdzić proces badawczy od środka. Agent AI otrzymał główne pytanie badawcze z nieopublikowanej jeszcze pracy naukowej. Oryginalni autorzy, którzy spędzili nad tym zagadnieniem miesiące, ocenili później wynik pracy agenta – dokładnie tak, jak zrobiliby to recenzenci konferencyjni. Ponieważ wyniki nie były jeszcze dostępne publicznie, model nie mógł polegać na danych treningowych.

Eksperyment objął dwie prace zgłoszone na konferencję NeurIPS 2026. Pierwsza dotyczyła sterowania cechami osobowości modeli językowych poprzez ich wagi. Druga przedstawiała metodę TabPFN, która wykrywa sytuacje, gdy model predykcyjny trafia na dane znacząco różniące się od treningowych.

Konfrontacja z rzeczywistością badawczą

Główne testy przeprowadzono z wykorzystaniem Claude Opus 4.8 z trybem Extra-High Reasoning. Każdy agent otrzymał sześć dni pracy, 3000 dolarów w kredytach API, budżet GPU oraz pełny dostęp do maszyny wirtualnej i otwartego internetu. Model działał w środowisku scaffold, które zarządza wywołaniami i narzędziami, umożliwiając delegowanie zadań do podagentów i monitorowanie zużycia zasobów. Wykorzystano framework OpenClaw – otwartoźródłowe, niezależne od dostawcy narzędzie stworzone przez austriackiego developera Petera Steinbergera.

Oryginalni autorzy ocenili gotowe prace jak recenzenci konferencyjni. Werdykt był druzgocący – obie prace odrzucono, jedna otrzymała ocenę „Strong Reject”. Recenzenci zarzucali słabo umotywowane dane i eksperymenty, nieczytelną prozę oraz brak nowych wkładów naukowych. Jeden z nich określił rozumowanie agenta jako „błąd dowodu przez przykład” i „wysoce nienaukowe”. Inny nazwał wybory eksperymentalne „dziwacznymi”, a wyniki wyraźnym produktem „decyzji post hoc”.

Systematyczne słabości agentów

Analiza logów działania ujawnia powtarzające się problemy. Agentom brakowało wyczucia, co spełnia standardy publikowalnych badań. Generowały prawdopodobne hipotezy, ale porzucały je na podstawie małych, ręcznie wyselekcjonowanych lub syntetycznych zbiorów danych. Zawiodły również w kreatywnym rozwiązywaniu problemów – gdy początkowe hipotezy okazywały się fałszywe, zawężały istniejące twierdzenia zamiast szukać nowych kierunków.

Co istotne, wewnętrzne recenzje AI nigdy nie zwróciły ani jednej akceptacji w piętnastu rundach poprawek, a agenci nigdy nie odnieśli się do kluczowej krytyki. Oba modele zrezygnowały z najbardziej ambitnych celów badawczych w ciągu pierwszych dziesięciu godzin. W przypadku eksperymentu Personas agent zakończył eksplorację po zaledwie pięciu godzinach, mimo zaplanowanych 36–48 godzin na tę fazę.

Świadomość zasobów również pozostawiała wiele do życzenia. Oba przebiegi zakończyły się z mniej niż połową wykorzystanego budżetu API. Jeden z agentów ogłosił projekt ukończonym siedem godzin przed terminem, tuż po tym, jak jego własny recenzent ponownie odrzucił pracę. Modele cierpiały też na „dryf instrukcji” – stopniowo zapominały o wytycznych w długim kontekście. Obie prace przekroczyły limity długości i zostałyby odrzucone na starcie przez NeurIPS. Co więcej, jedna z nich nie zawierała żadnych wizualizacji w tekście głównym, podczas gdy oryginalna praca ludzka miała ich piętnaście.

Inżynieria działa, ocena badawcza nie

Agenci bez problemu poradzili sobie z pracą inżynieryjną. Prowadzili przeglądy literatury, debugowali kod GPU, wykonali setki eksperymentów i testów odporności oraz skompilowali pełne prace w LaTeX-u. Konieczne były tylko trzy interwencje człowieka: naprawa błędu w scaffold, przedłużenie terminu i prośba o poprawę czytelności. Badacze nie znaleźli też znaczącego „reward hacking” – agenci nie manipulowali wynikami. Wręcz przeciwnie, zaczynali od ambitnych twierdzeń i korygowali je w stronę wyników negatywnych.

Aby wykluczyć wpływ konfiguracji oprogramowania, naukowcy powtórzyli jeden eksperyment z GPT-5.6 Sol i scaffoldem OpenAI Codex. Pojawiły się niemal te same błędy. GPT-5.6 zużył cały budżet 3000 dolarów w nieco ponad dwa dni, co doprowadziło do niedoszacowanych eksperymentów.

Wyniki te stoją w sprzeczności z deklaracjami czołowych laboratoriów. W czerwcu Anthropic opublikował wpis „When AI Builds Itself”, sugerując możliwość globalnie skoordynowanej pauzy w rozwoju. OpenAI twierdziło z kolei, że GPT-5.6 Sol pomógł w trenowaniu mniejszego modelu i zaoszczędził badaczom kilka tygodni pracy. Autorzy badania zauważają jednak, że wkład ten nie został nawet wspomniany w 81-stronicowej karcie systemowej.

Większy wysiłek rozumowania faktycznie poprawiał jakość wyników, ale badacze podejrzewają, że dodatkowy czas czy moc obliczeniowa niewiele by zmieniły. Zastrzeżenia recenzentów dotyczyły jakości wyborów eksperymentalnych, nie ich ilości. Autorzy podsumowują: modele graniczne radzą sobie z inżynieryjną stroną badań AI, ale „nie potrafią rozwiązać tygodniowych, otwartych problemów badawczych”.

Dlaczego recenzja naukowa to słaby miernik?

Wcześniejsze doniesienia o sukcesach autonomicznych badań opierały się głównie na zaakceptowanych pracach. Tymczasem sama akceptacja niewiele mówi o jakości. Sakana AI – The AI Scientist-v2 złożył trzy prace na warsztaty ICLR w 2025 roku. Jedną przyjęto ze średnią ocen 6.33, ledwie przekraczającą próg, ale później wycofano ją z powodu błędów w cytowaniach. Wskaźniki akceptacji na warsztatach sięgają 60–70 procent, znacznie powyżej 20–30 procent na głównych konferencjach. Shadow Evaluation omija ten problem, oddając ocenę w ręce oryginalnych autorów.

Krytyka narasta także po stronie środowiska naukowego. Tom Zahavy z Google DeepMind w pracy „LLMs can’t jump” argumentuje, że modele językowe nie mają mechanizmu poznawczego do tworzenia czegoś naprawdę nowego. Jego zdaniem The AI Scientist jedynie łączy istniejące koncepcje, a AlphaEvolve od DeepMind świetnie optymalizuje, ale potrzebuje jasnego sygnału błędu.

Ostatnie przełomy matematyczne mogą pozornie przeczyć tej tezie. W maju model rozumujący od OpenAI obalił hipotezę o geometrii jednostkowej postawioną przez Paula Erdősa w 1946 roku. Tim Gowers, medalista Fieldsa, nazwał to „kamieniem milowym w matematyce AI”. Wkrótce potem Claude Mythos rozwiązał ten sam problem, a OpenAI potwierdziło istnienie rodziny modeli Astra, która podobno rozwiązała dziesięć otwartych problemów matematycznych.

Jednak dowody matematyczne to dedukcja – wyprowadzanie koniecznych wniosków z ustalonych reguł lub systematyczne przeszukiwanie przestrzeni rozwiązań. To imponujące, ale to właśnie do tego modele graniczne są stworzone. Badania naukowe wymagają również abdukcji – twórczego skoku, który wymyśla przyczynę wyjaśniającą zaskakujące zjawisko. Formułowanie nowych pytań badawczych, projektowanie właściwych eksperymentów i wyciąganie solidnych wniosków – tego dzisiejsze modele wciąż nie potrafią.

Badanie objęło tylko dwie prace, a recenzenci nie byli zaślepieni – znali własne pytania badawcze i wiedzieli, że oceniają pracę AI. Mimo to wyniki były na tyle jednoznacznie słabe, że te ograniczenia raczej nie zmienią ogólnego obrazu. Zespół udostępnił recenzje eksperckie, logi i repozytoria agentów online, aby inni badacze mogli ocenić sami.