Jak AI podbija oceny i co to mówi o edukacji

Systemy sztucznej inteligencji potrafią dziś pisać teksty, które bez problemu przechodzą przez akademickie rubryki oceniania. Najnowsze badania przeprowadzone na włoskiej uczelni Bocconi University rzucają nowe światło na to zjawisko. Okazuje się bowiem, że korzystanie z ChatGPT faktycznie przekłada się na lepsze stopnie, ale jednocześnie wcale nie musi oznaczać głębszego zrozumienia materiału. To stawia przed nauczycielami i wykładowcami fundamentalne pytanie: co właściwie powinno być nagradzane w pracach studentów?

Czy ChatGPT faktycznie poprawia wyniki w nauce?

Zespół badaczy przeprowadził randomizowany eksperyment z udziałem 1053 studentów pierwszego roku Bocconi University. Uczestników podzielono na cztery grupy: kontrolną, grupę z lekcją o rozumowaniu przyczynowo-skutkowym, grupę z dostępem do GPT-4o oraz grupę łączącą oba te elementy. Zadanie polegało na napisaniu krótkich rekomendacji marketingowych dla uniwersyteckiego sklepiku z gadżetami.

Wyniki są jednoznaczne: studenci korzystający z GPT-4o uzyskiwali średnio o prawie cały punkt wyższe oceny w pięciostopniowej skali. Ich odpowiedzi zawierały średnio o dwie dodatkowe idee, były bardziej spójne logicznie i w większym stopniu pokrywały się z rekomendacjami trzech ekspertów dziedzinowych. Co istotne, przewaga ta utrzymała się nawet po uwzględnieniu jakości argumentacji, liczby pomysłów czy właściwości tekstu.

Autorzy badania przypisują ten efekt wyższej jakości treści generowanej przez model, a nie większej wiedzy samych studentów. Innymi słowy, GPT-4o działa jak bardzo skuteczny asystent, który potrafi ubrać myśli w atrakcyjną i merytoryczną formę. Problem w tym, że nie mamy pewności, czy te umiejętności zostają w głowie studenta po zakończeniu zadania.

Lekcja krytycznego myślenia nie podnosi ocen, ale zmienia podejście

Równie interesujące są wyniki grupy, która zamiast dostępu do AI otrzymała krótką lekcję dotyczącą logicznego rozumowania przyczynowego. Ta interwencja dydaktyczna nie przełożyła się na wyższe oceny w tradycyjnym rozumieniu. Co więcej, prace tych studentów były oceniane nawet nieco gorzej. Jednak analiza treści ujawniła coś zaskakującego: studenci ci znacznie częściej wyjaśniali, dlaczego proponowane działanie powinno zadziałać i w jakich warunkach może zawieść. Generowali też bardziej zróżnicowane pomysły, odbiegające od tego, co pisali ich koledzy.

Połączenie lekcji z dostępem do GPT-4o nie przyniosło dodatkowej poprawy tradycyjnych ocen. Co ciekawe, obie interwencje uzupełniały się w zakresie markerów rozumowania przyczynowego, a większa różnorodność pomysłów z grupy lekcyjnej utrzymała się nawet przy wsparciu AI. To sugeruje, że nauczanie myślenia krytycznego i narzędzia AI mogą pełnić komplementarne funkcje w procesie edukacji.

Dlaczego system oceniania faworyzuje odpowiedzi generowane przez AI?

Analiza zebranych danych ujawnia pewną prawidłowość: wyższe oceny otrzymywały prace zawierające więcej pomysłów, spójniejsze argumenty i większą różnorodność w obrębie jednej odpowiedzi. Z drugiej strony, silniejsza falsyfikowalność, bardziej szczegółowe wyjaśnienia mechanizmów działania proponowanych rozwiązań oraz większa oryginalność w stosunku do prac innych studentów korelowały z niższymi notami.

Nie oznacza to jednak, że oryginalność była karana we wszystkich przypadkach. W tym konkretnym zadaniu tradycyjna ocena nagradzała przede wszystkim dobrze ustrukturyzowane odpowiedzi mieszczące się w oczekiwanej przestrzeni rozwiązań. Autorzy badania wyciągają z tego wniosek, że jeśli różnorodność i oryginalność mają być brane pod uwagę, trzeba je wprost wpisać w kryteria oceniania.

Obecne systemy oceniania mierzą bowiem głównie dopracowanie, strukturę i kompletność prac, ale nie weryfikują faktycznego uczenia się i zrozumienia. To sprawia, że korzystanie z AI jako narzędzia do „ściągania” staje się niezwykle łatwe. Wystarczy wygenerować odpowiedź, która idealnie wpasuje się w oczekiwania prowadzącego, a nikt nie sprawdzi, czy student potrafiłby samodzielnie dojść do podobnych wniosków.

Co dzieje się, gdy AI znika? Wyniki innych badań

Badacze z Bocconi University nie odpowiedzieli na pytanie, co studenci faktycznie zapamiętali po zakończeniu zadania. Nie przeprowadzono testu kontrolnego, który sprawdziłby poziom wiedzy bez dostępu do ChatGPT. Sami autorzy przyznają, że nie wiadomo, czy przewaga GPT wynikała z wiedzy faktycznie zdobytej przez studentów, czy jedynie z lepszego wyniku przy wsparciu AI.

Inne badania rzucają jednak więcej światła na ten temat. Analiza ponad 500 tysięcy ocen z amerykańskich uczelni wykazała, że po premierze ChatGPT największy wzrost najlepszych ocen nastąpił na kursach wymagających pisania i programowania, z dużym udziałem prac domowych. Z kolei kontrolowane eksperymenty pokazały, że po odebraniu dostępu do AI uczestnicy wypadali gorzej niż grupa kontrolna. Największy spadek odnotowano wśród osób, które głównie używały GPT do uzyskiwania gotowych odpowiedzi.

Jeszcze bardziej wymowne są wyniki 30-miesięcznego badania obejmującego ponad 26 tysięcy studentów w Chinach. Prace domowe wykonywane z pomocą AI były lepsze i szybsze, ale wyniki egzaminów spadły. Na późniejszych egzaminach wstępnych wyniki były długoterminowo niższe o 18 do 24 procent. Co istotne, studenci, którzy spędzali podobną ilość czasu na pracach domowych jak osoby bez dostępu do AI, nie wykazywali tak znaczących spadków.

OpenAI, które było zaangażowane w badania, interpretuje wyniki głównie jako wyzwanie dla systemów oceniania. Jeśli AI potrafi wyprodukować dopracowane prace na poziomie eksperckim, sam końcowy produkt niewiele mówi o tym, co student faktycznie rozumie. Autorzy postulują „nagradzanie studentów za prace odzwierciedlające oryginalność, rozumowanie i uwzględnianie wielu podejść, a nie tylko najbardziej konwencjonalne czy dopracowane odpowiedzi”.

Ta propozycja brzmi sensownie, ale jej wdrożenie oznaczałoby gruntowną przebudowę całego systemu edukacji, nie tylko samych rubryk oceniania. Dopóki jednak nie zmienimy kryteriów, według których oceniamy prace studentów, AI będzie skutecznie „udawać” umiejętności, które obecnie są nagradzane najwyższymi notami. Pytanie brzmi: czy jesteśmy gotowi na taką rewolucję?