Zakaz AI na uczelniach szkodzi studentom – badanie

Zakaz korzystania z narzędzi AI podczas zajęć miał chronić studentów przed intelektualnym lenistwem. Tymczasem dwuletnie badanie przeprowadzone na jednej z uczelni pokazuje coś zupełnie odwrotnego – grupa pozbawiona dostępu do ChatGPT osiągała systematycznie najsłabsze wyniki spośród wszystkich badanych zespołów. Autor eksperymentu, prawnik i badacz Thibault Schrepel, sam przyznaje, że rezultaty zmusiły go do rewizji własnych założeń.

Eksperyment objął studentów prawa pracujących nad rewizją fragmentu unijnego AI Act. Uczestników podzielono na trzy grupy: pierwsza pracowała bez żadnego wsparcia AI, druga otrzymywała sugestie redakcyjne wygenerowane przez ChatGPT wbudowane bezpośrednio w tekst, ale bez instrukcji jak z nich korzystać, a trzecia przeszła szkolenie z prompt engineeringu (sztuki formułowania poleceń dla AI) oraz weryfikacji spójności i poprawności podpowiedzi generowanych przez model. Wszyscy zdawali te same egzaminy – test wielokrotnego wyboru oraz pracę domową polegającą na redakcji innego fragmentu regulacji. Badanie przeprowadzono w 2024 roku na 66 osobach, a rok później powtórzono je na próbie 164 studentów.

Dlaczego praca bez wsparcia AI szybko traciła impet

Studenci pozbawieni dostępu do narzędzi AI koncentrowali się głównie na kosmetycznych poprawkach – doprecyzowywali sformułowania, usuwali powtórzenia, poprawiali styl. Rzeczywiste zmiany merytoryczne w treści prawnej pojawiały się rzadko, tylko w nielicznych podgrupach. Po dziesięciu, piętnastu minutach pracy wiele zespołów wyraźnie traciło pomysły – Schrepel nazywa to zjawisko „wyczerpaniem koncepcyjnym”. Paradoksalnie, brak wsparcia technologicznego wymuszał głębszą dyskusję między członkami grupy, co można uznać za pewien plus tego podejścia.

Bezkrytyczne zaufanie do sugestii AI też miało swoją cenę

Druga grupa, otrzymująca gotowe podpowiedzi bez instrukcji, przyjmowała je niemal automatycznie. Studenci argumentowali, że proponowane sformułowania po prostu „brzmiały lepiej”, nie zagłębiając się w ich znaczenie prawne. Część uczestników zmieniła kluczowe terminy prawne – takie jak „shall” (odpowiednik „musi” w tekstach prawnych) czy „individual” – na wersje zasugerowane przez model, nie rozumiejąc konsekwencji tej zmiany. Co znamienne, każda podgrupa zostawiła w tekście przynajmniej jedno mylące lub prawnie zbędne sformułowanie pochodzące z ChatGPT.

Zupełnie inaczej wyglądała praca trzeciej grupy – przeszkolonej w zakresie prompt engineeringu. Tylko ci studenci prowadzili z modelem rzeczywisty dialog: testowali różne sformułowania, dopytywali o niuanse i zagłębiali się w merytoryczne aspekty zadania zamiast bezrefleksyjnie akceptować pierwszą propozycję.

Przewaga szkolenia z AI stopniała w ciągu roku

W 2024 roku przeszkolona grupa wyraźnie górowała nad pozostałymi, szczególnie w bardziej wymagającej pracy domowej. Rok później różnica niemal zniknęła – wszystkie trzy grupy osiągnęły zbliżony poziom wyników. Schrepel tłumaczy to rosnącą biegłością studentów w codziennym korzystaniu z chatbotów. Skoro młodzi ludzie coraz częściej używają tych narzędzi poza uczelnią, formalne szkolenie przestało dawać tak wyraźną przewagę jak wcześniej. Badacz zastrzega jednak, że kwestie etycznego użycia AI i odpowiedzialności prawnej wciąż wymagają systematycznego nauczania.

Jeden wynik pozostał niezmienny przez oba lata badania – grupa pozbawiona dostępu do AI zawsze plasowała się na ostatnim miejscu. Zakazywanie narzędzi AI prowadzi do gorszych średnich rezultatów niż ich dopuszczenie, konkluduje Schrepel. Otwarte pozostaje pytanie, czy przewaga wynika ze zorganizowanego szkolenia, czy po prostu z praktycznego obycia z technologią.

Autor musiał przyznać się do błędnego założenia

Wyniki drugiej grupy szczególnie zaskoczyły samego badacza. Spodziewał się, że bezkrytyczne błędy popełniane podczas ćwiczeń w klasie przeniosą się także na egzamin. Stało się odwrotnie – błędy się nie powtórzyły, a grupa osiągnęła wynik nieco lepszy niż zespół bez dostępu do AI. Najbardziej prawdopodobnym wyjaśnieniem jest to, że studenci uczą się dostrzegać słabości AI poprzez własne doświadczenie z narzędziem, zwłaszcza gdy dokładność ma realne znaczenie dla oceny.

Byłem w błędzie – pisze Schrepel, przyznając, że wcześniej był przekonany, iż AI pomaga wyłącznie przy odpowiednim przeszkoleniu, a poza tym powinna zostać poza salą wykładową.

Pominięcie nauczania obsługi AI to zmarnowana szansa, podsumowuje badacz, ale nie prowadzi do edukacyjnej katastrofy, jakiej się obawiano.

Uczelnie powinny przemyśleć swoje zakazy

Zdaniem Schrepela kierownictwo wydziałów powinno powstrzymać się od wprowadzania blankietowych zakazów AI i dać wykładowcom przestrzeń do eksperymentowania. Uczelnie muszą też zainwestować w rozwój kompetencji AI wśród kadry akademickiej, ponieważ wielu nauczycieli akademickich czuje się słabo przygotowanych do pracy z tymi narzędziami.

Badacz uważa również, że przemyślenia wymaga tradycyjny model pracy magisterskiej. Jej podstawowa wartość – długotrwałe zmaganie się z research’em i budowaniem argumentacji – może dziś zostać zrealizowana przez narzędzia AI w kilka minut. Same przeglądy literatury nie powinny już wystarczać do zaliczenia, argumentuje Schrepel. Programy studiów powinny stawiać na prace praktyczne lub empiryczne, w których przemyślane korzystanie z AI stanowi część oceny.

Nie wszystkie uczelnie podążają w tym kierunku. Wydział prawa UC Berkeley wprowadził niemal całkowity zakaz AI w pracach ocenianych, argumentując, że przyszli prawnicy muszą najpierw wykształcić podstawowe umiejętności analitycznego myślenia, zanim sięgną po wsparcie technologiczne. To stanowisko wprost przeczy wnioskom Schrepela, według których wykluczenie AI z sali wykładowej pogarsza wyniki studentów niezależnie od uzasadnienia takiej decyzji.

Sam autor przyznaje ograniczenia swojego badania: niewielką próbę, fakt, że uczestnicy kursu poświęconego AI byli prawdopodobnie bardziej obeznani z technologią niż przeciętny student, oraz brak możliwości zweryfikowania, w jakim stopniu badani faktycznie korzystali z AI podczas pracy domowej wykonywanej samodzielnie. Ta ostatnia kwestia ma znaczenie, ponieważ inne badania wskazują, że efekty stosowania AI są najsilniejsze właśnie przy zadaniach niepilnowanych.

Analiza ponad 500 tysięcy ocen na UC Berkeley wykazała, że odsetek najwyższych ocen z prac pisemnych i programistycznych wzrósł o 13 punktów procentowych po premierze ChatGPT. Egzaminy odbywające się pod nadzorem nie wykazały porównywalnej zmiany. Z kolei długoterminowe badanie objęte ponad 26 tysiącami uczniów szkół podstawowych i średnich w środkowych Chinach pokazało odwrotną zależność – AI poprawiało oceny z prac domowych, ale wyniki egzaminów spadały nawet o 24 procent. Największe szkody odnotowano tam, gdzie AI zastępowało samodzielne myślenie, zamiast je wspierać.

Wnioski płynące z badania Schrepela nie dają prostej odpowiedzi na pytanie, jak uczelnie powinny podchodzić do sztucznej inteligencji. Pokazują jednak wyraźnie, że całkowite jej wykluczenie z procesu nauczania niesie realne koszty edukacyjne. Kluczowe pozostaje pytanie, jak zaprojektować programy studiów tak, by AI wspierała rozwój kompetencji studentów, zamiast je zastępować.

Źródło

Może Cię zainteresować