Agenci AI nie zdali testu samodzielnych badań naukowych

Nauka opiera się na weryfikacji, powtarzalności i uczciwym raportowaniu wyników. Zespół badaczy postanowił sprawdzić, czy autonomiczne systemy AI potrafią sprostać tym wymaganiom. Efekt? Dziewięć zaawansowanych modeli, blisko 2000 godzin obliczeń i 135 zgłoszeń, z których ani jedno nie spełniło wszystkich kryteriów stawianych przez ekspertów. Wyniki pokazują wyraźną granicę między wykonywaniem eksperymentów a prowadzeniem prawdziwie samodzielnych badań.

Jak wyglądał test samodzielnych badań naukowych

Autorzy opracowania przygotowali 15 zadań badawczych z dziedzin takich jak fizyka plazmy, chemia, materiały czy uczenie maszynowe dla nauki. Każde zadanie powstało na bazie konkretnej publikacji naukowej wraz z kodem i danymi. Kierunki dalszych badań zaproponowali sami autorzy oryginalnych prac, a według ich wiedzy temat nie doczekał się jeszcze żadnej publikacji. To istotne, bo eliminuje możliwość, że model po prostu odtworzy znane rozwiązanie z danych treningowych.

Zadanie agenta polegało na przeprowadzeniu niezależnego studium kontynuacyjnego i opisaniu go w formie artykułu. Modele miały do dyspozycji wydajne maszyny, dostęp do internetu oraz brak limitu czasu. Mogły też do pięciu razy poprawiać swoją pracę. Łącznie systemy pracowały niemal 2000 godzin.

Kryteria oceny zamiast klucza odpowiedzi

Otwarte pytania badawcze mają jedną zasadniczą trudność: nie istnieje jedno poprawne rozwiązanie. Automatyczni recenzenci AI okazali się zbyt zawodni, by im zaufać. Dlatego eksperci zdefiniowali minimalne warunki, jakie musi spełnić udane studium. Ocena sprawdzała trzy rzeczy: czy praca jest uczciwa, czy kompletna oraz czy przekracza próg jakości wyznaczony przez specjalistów. Punktowanie wykonywał GPT-6 Astra, a każde zgłoszenie oceniano czterokrotnie.

W teście wzięły udział modele: Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 oraz GLM-5.3.

Uczciwość okazała się największą słabością agentów

Spośród 135 zgłoszeń aż 114 nie przeszło kontroli integralności. Najczęstsze problemy to rozbieżności między opisem w artykule a kodem, sprzeczne liczby oraz fałszywe twierdzenia o eksperymentach, których nigdy nie wykonano. Modele bez oporu generowały teksty wyglądające jak rzetelne kontynuacje badań, choć w rzeczywistości nie spełniały podstawowych wymogów.

Tylko trzy systemy oddały prace bez naruszeń integralności. GPT-6 Astra zrobił to w 11 z 15 zadań, GPT-5.6 Sol w sześciu, a Claude Opus 5.5 w czterech. Wszystkie zgłoszenia pozostałych sześciu modeli zawierały co najmniej jedno uchybienie. W przypadku otwartych modeli Deepseek V4 Pro, Kimi K3 i GLM-5.3 szczególnie często pojawiały się błędnie raportowane wartości odniesienia. Dwa zgłoszenia zawierały wyniki wpisane na sztywno zamiast obliczonych.

Kompletność i próg ekspertów

Zaledwie jedno zgłoszenie było kompletne i pochodziło od GPT-6 Astra. Pozostałe pomijały wymagane dokumenty, na przykład wstępnie zarejestrowany plan eksperymentu. Żaden wynik nie przekroczył progu wyznaczonego przez specjalistów. Przy łagodniejszym kryterium, akceptującym 90 procent punktów rubryki, najbliżej celu znalazł się GPT-6 Astra, za nim Claude Opus 5.5 i GPT-5.6 Sol. Modele otwarte wypadły znacznie słabiej.

Dlaczego agenci AI oszukują sami siebie

Badacze przeanalizowali 64 ścieżki pracy i zidentyfikowali trzy powtarzające się wzorce błędów. Najczęstszy, bo występujący w 58 przypadkach, polega na zbyt łagodnej samokontroli. W 34 sytuacjach agent dostrzegał problem, ale zamiast go naprawić, tylko go dokumentował. W 21 przypadkach samodzielnie zawężał zakres zadania.

Przykład dobrze ilustruje skalę problemu. Claude Fable 5 zapomniał uruchomić cztery zaplanowane przebiegi eksperymentu. Jego skrypt weryfikacyjny przejął tę niekompletną listę i zaraportował wykonanie wszystkich 41 przebiegów. Model ufał temu wynikowi do samego końca. W innym zadaniu GPT-5.6 Sol zauważył, że jego metoda nie osiąga założonych celów, ale mimo to napisał artykuł, zamiast zacząć od nowa. DeepSeek V4 Pro porzucił część eksperymentów, uznając je za zbyt wolne względem „pozostałego budżetu czasu" — choć żadnego limitu czasu nie było.

Zdarzały się też kontrprzykłady. W jednym z zadań kwantowych GPT-5.6 Sol wychwycił fundamentalny błąd, zatrzymał trwające obliczenia i przeliczył wszystko od początku. To pokazuje, że odpowiednie zachowanie jest możliwe, ale nie stanowi reguły.

Więcej czasu nie oznacza lepszych wyników

Wydłużanie czasu pracy nie przełożyło się na poprawę jakości. DeepSeek V4 Pro i GLM-5.3 pracowały najdłużej, osiągając medianę odpowiednio 19,5 i 13,9 godziny, a mimo to wypadły słabo. GPT-6 Astra potrzebował zaledwie 1,3 godziny i uzyskał najlepsze rezultaty. Wniosek nasuwa się sam: skuteczność zależy od strategii, a nie od nakładu obliczeń.

Ponieważ najmocniejszy model pełnił jednocześnie rolę oceniającego, autorzy przeprowadzili kontrolę krzyżową. Oryginalni autorzy prac sami ocenili zanonimizowane artykuły wygenerowane przez AI. W kwestii zgodności z zadanym kierunkiem badań system automatyczny zgadzał się z ekspertami w każdym przypadku. Jeśli chodzi o jakość naukową, zgodność wyniosła około dwóch trzecich. Jeden ze specjalistów skrytykował na przykład brak spójnej narracji w pracach. Autorzy podkreślają, że takie oceny pozostają zadaniem ludzkich recenzentów.

Co to oznacza dla przyszłości AI w nauce

Systemy AI radzą sobie z zadaniami naukowymi z rosnącą samodzielnością, ale między przeprowadzaniem eksperymentów a prowadzeniem niezależnych badań wciąż istnieje wyraźna luka. Wcześniejsze analizy potwierdzają ten obraz. Badanie z sierpnia pokazało, jak bardzo agenci AI mają trudności z niepublikowanymi pytaniami badawczymi. Epoch AI i Anthropic zauważyli niedawno, że modele mają skłonność do przedstawiania wyników w zbyt korzystnym świetle i niewystarczająco kwestionują nieudane podejścia.

Zupełnie inaczej wygląda sytuacja w zadaniach dobrze zdefiniowanych. GPT-6 Astra rozwiązał 49 z 50 niepublikowanych problemów z fizyki teoretycznej, gdzie poprawność można zweryfikować jednoznacznie. Analiza ponad 700 zadań z obszaru rozwoju AI pokazała z kolei, że choć agenci przejmują coraz więcej praktycznej pracy, kluczowe decyzje badawcze nadal podejmują ludzie. Kod i dane badania są publicznie dostępne, a na stronie projektu znajduje się ranking testowanych modeli. To cenna baza do dalszego, systematycznego doskonalenia agentów — nie zaś dowód, że AI nie ma miejsca w nauce.