AI pisze lepsze recenzje naukowe niż eksperci z Harvardu

System recenzowania naukowego, od dekad filar jakości w publikacjach akademickich, właśnie doczekał się poważnego wyzwania. Zespół badaczy z Uniwersytetu Harvarda opublikował pracę roboczą, której wyniki mogą zmienić sposób, w jaki redakcje czasopism naukowych oceniają nadsyłane teksty. W testach porównawczych recenzje generowane przez zaawansowany model językowy okazały się częściej wybierane niż opinie doświadczonych, dobrze wynagradzanych ekspertów — i to w warunkach, w których ci drudzy pracowali bez presji czasu.
Gary King i Steven Worthington przeanalizowali 124 manuskrypty oraz 134 ludzkie recenzje zgromadzone w latach 2019–2026. Ludzkim punktem odniesienia były opinie z rapidPeer — usługi przedsubmisyjnej recenzji działającej przy Harvard Institute for Quantitative Social Science. To istotny szczegół: recenzenci tam pracujący są starannie wybierani i wynagradzani, a 88% autorów oceniło ich feedback jako bardzo wysokiej jakości. Innymi słowy, AI mierzyło się z ludźmi w ich najlepszym wydaniu, a nie z przemęczonymi darmowymi wolontariuszami.
Jak wyglądał eksperyment porównawczy
Dla każdego manuskryptu badacze wygenerowali recenzję przy pomocy Claude Opus 4.8 firmy Anthropic, uruchomionego z najwyższym ustawieniem rozumowania. Testowano dwa warianty: podstawowy, w którym model dostawał wyłącznie zanonimizowany tekst i instrukcje rapidPeer, oraz dostrojony, z dodatkowym promptem i dostępem do wyszukiwania internetowego (średnio ponad dwanaście zapytań na recenzję).
Ocenę zlecono modelowi GPT-5.5 od OpenAI — celowo innemu dostawcy, by uniknąć sytuacji, w której twórca systemu ocenia własne dzieło. Sędzia AI porównywał pary recenzji w obu kolejnościach prezentacji, punktował je w skali 0–10 i przyznawał zwycięstwo tylko wtedy, gdy dana praca wygrywała niezależnie od kolejności. Dodatkowo trzech byłych redaktorów czołowych czasopism naukowych oceniło na ślepo dziesięć losowo wybranych par, co dało trzydzieści niezależnych ludzkich werdyktów.
Wyniki, które trudno zignorować
Przewaga recenzji AI okazała się wyraźna i systematyczna. W bezpośrednich starciach sędzia AI wskazał na wersję generowaną przez model w każdym rozstrzygniętym przypadku — 132 na 132 pary. Byli redaktorzy, oceniając na ślepo, wybrali tekst AI w 87% werdyktów, czyli 26 na 30. Co ciekawe, zgodność między ludzkimi redaktorami wyniosła 80%, a ich zgodność z sędzią AI — 87%. Innymi słowy, sędzia algorytmiczny okazał się bliższy ludzkiemu konsensusowi niż sami ludzie wobec siebie.
Przewaga w każdej kategorii oceny
Badacze rozbili ocenę na siedem obszarów: teorię i pomysł, metody, słabe strony, framing, komunikację, ryciny i tabele oraz źródła. W wersji dostrojonej recenzje AI wygrywały w stu procentach rozstrzygniętych par w kategoriach źródeł, słabych stron i metod, a w 99% w rycinach i tabelach. W pozostałych trzech obszarach zwyciężały w 92% przypadków. W skali dziesięciopunktowej recenzje AI uzyskiwały średnio o około 2,6 punktu więcej niż ludzkie, które oscylowały wokół szóstki.
Nie chodziło o dłuższe teksty ani ładniejszy styl
Zespół przeprowadził dziesięć zestawów testów kontrolnych, by wykluczyć trywialne wyjaśnienia. Ograniczenie porównania do 44 par o zbliżonej długości nie zmieniło wyniku — AI nadal wygrywało w stu procentach. Przepisanie ludzkich recenzji na styl przypominający model nie poprawiło ich pozycji. Przewaga utrzymywała się niezależnie od nowatorstwa manuskryptu, zastosowanej metodologii, stażu autorów czy prestiżu czasopisma, w którym praca ostatecznie się ukazała.
Fakty, nie halucynacje
Jednym z najczęstszych zarzutów wobec modeli językowych jest skłonność do wymyślania źródeł. W tym eksperymencie audyt wykazał zero sfabrykowanych referencji w recenzjach z dostępem do internetu. Odsetek błędnych twierdzeń o samym manuskrypcie wyniósł 5,5% — około jednej trzeciej poziomu odnotowanego w recenzjach ludzkich, gdzie sięgał prawie szesnastu procent. Aby sprawdzić, czy sędzia AI w ogóle potrafi wychwycić fałsz, badacze wstrzyknęli do recenzji po jednym prawdziwym lub fałszywym zdaniu. Algorytm oznaczył wszystkie 258 nieprawdziwych twierdzeń i nie zgłosił żadnego z 258 poprawnych.
Warto jednak zachować ostrożność przy interpretacji tego wyniku. Wcześniejsze analizy generowanych od zera przeglądów literatury wykazały, że nawet dwie trzecie cytowań bywało zmyślonych lub błędnych. Różnica polega na zadaniu: tutaj model krytykował istniejący tekst, korzystając z wyszukiwania, a nie tworzył bibliografię z pamięci.
„Wyniki podważają długo utrzymywane przekonanie, że eksperccy recenzenci dostarczają bardziej użyteczny feedback niż AI” — powiedział Kilian M. Pohl ze Stanford University, niezwiązany z badaniem.
Co to oznacza dla czasopism i dla nauki
Autorzy rozróżniają dwa cele recenzji: pomoc autorowi w ulepszeniu tekstu oraz wsparcie redaktora w decyzji o publikacji. Eksperyment dotyczył wyłącznie tego pierwszego. Mimo to proponują konkretne rozwiązania organizacyjne. Czasopismo mogłoby publikować oficjalny prompt recenzencki zgodny z własnymi standardami i prosić autorów o przesyłanie manuskryptu wraz z wygenerowaną recenzją oraz listem odpowiedzi. Redakcja uruchamiałaby następnie drugą, niejawną recenzję AI z kontrolą prób manipulacji ukrytymi poleceniami, a ludzkich ekspertów angażowałaby tylko w trudnych przypadkach. Ostateczna decyzja pozostałaby w rękach człowieka.
Ryzyko ujednolicenia myśli naukowej
Badacze ostrzegają przed skutkiem zbiorowym. Jeśli całe środowisko będzie korzystać z podobnych modeli, recenzje mogą popychać autorów ku konwencjonalnym, mainstreamowym ujęciom. Pojedynczemu naukowcowi AI pomoże wychwycić błędy, ale zbiorowo literatura może stać się bardziej jednorodna. To dokładnie ten typ efektu skali, którego nie widać w testach parowych.
Głosy spoza zespołu badawczego
George Currie, doradca strategiczny w UK Research and Innovation, zwraca uwagę, że krytyka AI-led peer review wymaga uczciwości wobec istniejącego systemu. W rozmowie z PsyPost zauważył, że recenzja naukowa jest kosztowna, w dużej mierze nieopłacana, nierówna jakościowo i służy zarówno poprawie badań, jak i gatekeepingowi wydawniczemu. Atutem AI nie jest więc zastąpienie bezbłędnego procesu, lecz odciążenie systemu i zwiększenie przejrzystości.
Gustavo A. Patino z Western Michigan University Homer Stryker MD School of Medicine prognozuje, że narzędzia AI wejdą do workflow redakcyjnego w ciągu mniej więcej pięciu lat. Zwraca jednak uwagę na wartość, której nie da się zmierzyć wskaźnikiem trafności: sama praca recenzencka uczy badacza rozpoznawania idei i ludzi w dziedzinie, także tych, których prace nigdy nie ukażą się drukiem.
Michael R. Ladomery z University of the West of England podnosi kwestię etyczną i socjologiczną. Recenzowanie jest integralną częścią życia zawodowego naukowca, ostrzy własne umiejętności krytyczne i daje satysfakcję intelektualną. Ten rodzaj zespołowej pracy — przekonuje — nie poddaje się automatyzacji.
Ograniczenia, o których trzeba pamiętać
Pohl studzi entuzjazm wobec nagłówków sugerujących, że AI lepiej od ludzi decyduje o tym, które prace zasługują na publikację. Badanie mierzyło jakość konstruktywnego feedbacku, a nie zdolność rozpoznawania przełomowych wyników, wychwytywania subtelnych błędów naukowych czy dopasowania do standardów konkretnego czasopisma. Więcej i lepiej napisanej treści nie równa się lepszemu osądowi naukowemu — podkreśla.
Do tego dochodzą kwestie metodologiczne. Nie sprawdzono, czy poprawki wprowadzone w odpowiedzi na recenzję AI prowadzą do lepszego artykułu niż te zainspirowane uwagami człowieka. Ludzka ocena ślepa opierała się na trzech byłych redaktorach i dziesięciu manuskryptach, bez rozbicia na siedem wymiarów. Recenzje pochodziły z usługi coachingowej przed submisją, a nie z formalnego procesu redakcyjnego konkretnego czasopisma, co może faworyzować klarowność i kompletność nad substancją naukową. Sam sędzia AI, mimo że pochodził od innego dostawcy, nie gwarantuje pełnej niezależności — modele mogą się wzajemnie „odpytywać”.
Kolejnym krokiem powinny być zdaniem komentatorów duże, prospektywne badania randomizowane w realnych czasopismach, porównujące trzy modele: tradycyjną recenzję ludzką, recenzję wspomaganą przez AI i recenzję w pełni generowaną. Dopiero taki test odpowie na pytanie, czy AI-assisted peer review prowadzi do lepszych publikacji i trafniejszych decyzji redakcyjnych — bez utraty oryginalności i odpowiedzialności naukowej.
Dalej w tym temacie
Wszystko o Claude
Claude w Docs, Sheets i Slides: jak włączyć i co potrafi
Dodatek Claude for Google Workspace otwiera panel Claude obok Dokumentów, Arkuszy i Prezentacji Google, a konektory pozwalają edytować te pliki z czatu. Sprawdzamy instal…
Poradnik11 min czytania
Nowe zasady inżynierii kontekstu dla modeli Claude 5
„Mity w inżynierii promptów umierają. Anthropic oficjalnie odrzuca dawne złote zasady: dawanie przykładów ogranicza modele, a powtarzanie instrukcji jest zbędne. Nowe mod…
Poradnik5 min czytania
Model Anthropic pomógł rozwiązać problem kwantowy
Fizycy z PSI użyli niewydanego modelu Anthropic, by w trzy dni dowieść hipotezy Aaronsona-Ambainisa otwartej od 2008 roku. Dowód pokazuje, że przewaga komputerów kwantowy…
Badania i nauka3 min czytania8 listopada 2026