Sędzia z AI: 1848 spraw więcej rocznie

W pakistańskim wymiarze sprawiedliwości problem zaległości jest ogromny – tysiące spraw czekają latami na rozstrzygnięcie. Najnowsze badanie naukowców z ETH Zurich, New Economic School oraz Imperial College London pokazuje, że sztuczna inteligencja może znacząco odciążyć sędziów. Kluczem jest jednak nie samo narzędzie, lecz odpowiednie przeszkolenie użytkowników.

Przeszkoleni sędziowie rozstrzygają o 1848 spraw więcej rocznie

Badacze przeprowadzili randomizowany eksperyment terenowy na niespotykaną dotąd skalę. Obejmował on 1559 sędziów ze 118 sądów – niemal połowę wszystkich orzekających w pakistańskich sądach rejonowych. Uczestników podzielono na trzy grupy: jedna otrzymała dostęp do asystenta AI wraz z intensywnym szkoleniem, druga – tylko dostęp i ogólne seminarium o prawie i technologii, a kontrolna uczestniczyła w seminarium bez dostępu do narzędzia.

Różnica okazała się spektakularna. Sędziowie z pierwszej grupy logowali się do systemu średnio prawie 60 razy w ciągu 40 tygodni i zadali ponad 200 zapytań. Dla porównania, grupa bez specjalistycznego przeszkolenia odnotowała zaledwie około 20 loginów i mniej niż 50 promptów. W dystryktach, gdzie pracowało więcej przeszkolonych sędziów, liczba rozstrzygniętych spraw wzrosła o 1848 rocznie – to 6,3 proc. więcej. Nawet w najsłabszych okręgach przybyło około 616 spraw.

Jak działa JudgeGPT – asystent oparty na GPT-4

Narzędzie nosi nazwę JudgeGPT i zostało zbudowane na modelu GPT-4 z mechanizmem RAG (retrieval augmented generation). Zamiast polegać wyłącznie na wiedzy modelu, system na bieżąco przeszukuje dedykowaną bazę 129 235 dokumentów, w tym 128 292 wyroki sądowe oraz 943 pakistańskie ustawy.

Baza dokumentów i mechanizm wyszukiwania

Gdy sędzia wpisuje pytanie, JudgeGPT wybiera dziesięć najbardziej trafnych fragmentów z bazy i generuje odpowiedź z cytatami. To znacznie zmniejsza ryzyko halucynacji, czyli sytuacji, w której model wymyśla fakty. Jak pokazała analiza logów, legal research (wyszukiwanie informacji prawnych) stanowił około 60 proc. zapytań. Na drugim miejscu znalazła się edycja tekstu, a na trzecim generowanie treści.

Szkolenie, a nie dostęp, decyduje o efektywności

Sam dostęp do AI nie wystarczył – grupa bez specjalistycznych warsztatów korzystała z systemu cztery razy rzadziej. To kluczowy wniosek dla wszystkich instytucji rozważających wdrożenie podobnych rozwiązań. Profesor Elliott Ash z ETH Zurich, który prowadził sześć 90-minutowych wykładów po godzinach pracy sądów, uczył sędziów, do jakich zadań narzędzie się nadaje, gdzie popełnia błędy i jak weryfikować jego wyniki.

Analiza anonimowych logów pokazała, że przeszkoleni sędziowie używali JudgeGPT głównie do edycji i podsumowywania tekstów – czyli zadań, w których modele językowe są najbardziej niezawodne. Rzadziej zadawali szerokie pytania prawne, które zwiększają ryzyko halucynacji. Tylko co piąte zapytanie dotyczyło tzw. substantive AI delegation, czyli sytuacji, w której sędzia prosił AI o samodzielne ocenienie sprawy lub napisanie uzasadnienia. Szkolenie sprawiło, że to sędzia podejmował decyzje, a AI służyła do spisywania rozumowania.

Jakość orzeczeń i opłacalność inwestycji

Wzrost liczby rozstrzygniętych spraw nie odbył się kosztem jakości. Wskaźnik apelacji na tysiąc orzeczeń nieznacznie spadł, a sędziowie pracowali tyle samo godzin, nie pogarszając równowagi między życiem zawodowym a prywatnym. Przegląd około 4 tysięcy wyroków wykazał więcej tekstu oznaczonego jako wygenerowany przez AI, ale czytelność, długość i liczba argumentów prawnych pozostały na tym samym poziomie.

Bez wzrostu uprzedzeń

Naukowcy nie znaleźli dowodów na to, że AI zwiększyła tendencyjność językową w kontekście płci lub religii. Jakość orzeczeń oceniana przez dwóch pakistańskich prawników (przy użyciu modelu LLM jako weryfikatora) nawet nieznacznie się poprawiła – w 59 proc. porównań wyroki przeszkolonych sędziów uznawano za lepsze, w porównaniu do 42 proc. w grupie kontrolnej.

Zwrot 38,50 dolara za dolara

Badacze obliczyli, że gdyby zatrudnić dodatkowych sędziów, by osiągnąć ten sam wzrost wydajności, kosztowałoby to 38,50 dolara za każdą zainwestowaną w AI złotówkę. Nawet najbardziej konserwatywne szacunki wskazują na zwrot „co najmniej” 10 dolarów za dolara. Autorzy podkreślają jednak, że wyniki te stanowią prawdopodobnie dolną granicę możliwości – JudgeGPT działał na modelu GPT-4, który nie był jeszcze modelem reasoningowym. Dzisiejsze modele piszą lepiej, rzadziej halucynują i radzą sobie z bardziej złożonymi zadaniami.

Eksperyment wyraźnie pokazuje, że AI nie zastąpi sędziego, ale może go wesprzeć – pod warunkiem, że najpierw nauczymy ludzi, jak z niej korzystać. Bez odpowiedniego szkolenia większość potencjalnych korzyści przepada. To lekcja nie tylko dla wymiaru sprawiedliwości, ale dla każdej instytucji publicznej, która chce wykorzystać sztuczną inteligencję w codziennej pracy.