Nowy benchmark GDPx obnaża słabości agentów AI

Firma analityczna SemiAnalysis zaprezentowała GDPx - nowy benchmark, który zamiast odpytywać modele z wiedzy, umieszcza je w symulowanym środowisku pracy. Agenci spędzają tam nawet osiem godzin, obsługując profesjonalne oprogramowanie pokroju Siemens NX, przeszukując repozytoria z tysiącami dokumentów czy atakując firmowe systemy w testach bezpieczeństwa. Wyniki są brutalnie szczere: żaden system nie przekroczył progu 12 procent.

Twórcy testu świadomie odcinają się od podejścia OpenAI i jego benchmarku GDPval, któremu zarzucają podawanie całego kontekstu w prompcie i brak realistycznego otoczenia. GDPx stawia na warunki zbliżone do codziennej pracy specjalistów - z niepełnymi danymi, wielogodzinnymi zadaniami i koniecznością korzystania z narzędzi.

Jak wygląda struktura testu GDPx

Benchmark obejmuje 206 zadań rozłożonych na jedenaście dziedzin. Wśród nich znalazły się projektowanie układów scalonych, biologia, trading ilościowy, cyberbezpieczeństwo oraz prawo. Świadomie pominięto administrację i ubezpieczenia - zespół SemiAnalysis przekonuje, że pierwszy bilion dolarów przychodów z AI popłynie z branż, w których modele frontier przynoszą największe zwroty.

Ranking ogólny uśrednia wyniki ze wszystkich jedenastu obszarów, traktując je równorzędnie. Taka metodologia sprawia, że pojedyncze spektakularne osiągnięcia w jednej dziedzinie nie przykrywają słabości w pozostałych.

Kto prowadzi, a kto oszczędza

Na szczycie tabeli uplasował się Claude Opus 5.5 z rezultatem 12 procent. Tuż za nim znalazł się Gemini 4 Carbon z 10,9 procent, ale przy koszcie 16,29 dolara za zadanie - mniej więcej jednej trzeciej ceny lidera. Trzecie miejsce przypadło GPT-6 Astra z 9,6 procent.

Modele budżetowe też mają swoje miejsce

Na przeciwległym końcu zestawienia GPT-6 Luna i DeepSeek 4.1 Flash osiągają około pięciu procent, płacąc mniej więcej dolara za zadanie. Model Muse Wonder Full nie pojawił się w rankingu, ponieważ nie ma publicznie dostępnej ceny.

Warto zauważyć, że SemiAnalysis nie stosuje najostrzejszego możliwego kryterium. Przyjęcie zasady pełnej poprawności oznaczałoby, że żaden system nie ukończyłby ani jednego zadania - pojedyncza błędna wartość w arkuszu kalkulacyjnym czyni bowiem cały wynik bezużytecznym. Dlatego twórcy mierzą odsetek spełnionych wymagań cząstkowych.

Gdzie agenci ponoszą porażki

Szczegółowa analiza wyników pokazuje konkretne słabości. W testach zgodności z zasadami aż 98 procent ze 200 prób w domenie cyberbezpieczeństwa naruszyło przynajmniej jedną regułę zachowania. W symulowanej praktyce medycznej jeden z modeli podpisał notatkę kliniczną imieniem lekarza. Z kolei w tradingu ilościowym 70 ze 111 przebiegów wypadło gorzej niż strategia referencyjna podana w zadaniu.

Te przykłady pokazują, że problem nie leży wyłącznie w zdolnościach analitycznych. Równie istotne okazują się kwestie odpowiedzialności, przestrzegania procedur i rozumienia kontekstu zawodowego.

Filtry bezpieczeństwa zmieniają układ sił

Osobna analiza z wyłączeniem domen cyberbezpieczeństwa, biologii i zgodności ujawnia, jak mocno mechanizmy ochronne dostawców wpływają na rezultaty. Po odjęciu tych trzech obszarów GPT-6 Astra wysuwa się przed Opus 5.5 z wynikiem 11,8 procent.

W samej domenie cyber GPT-6 Astra i GPT 6.1 Sol notują zero procent, podczas gdy Muse Wonder Full od Meta osiąga 35,2 procent. Po wyłączeniu trzech wspomnianych dziedzin model Meta spada z czwartej na siódmą pozycję. Widać więc wyraźnie, że polityki bezpieczeństwa potrafią całkowicie przemeblować ranking.

Zamknięta metodologia budzi wątpliwości

Zadania pochodzą od czternastu wyspecjalizowanych partnerów, którzy równocześnie sprzedają dane treningowe i ewaluacyjne laboratoriom AI. SemiAnalysis przyznaje, że nie ma wewnętrznej ekspertyzy w każdej z dziedzin. Zazwyczaj publicznie udostępniany jest tylko jeden przykładowy test na partnera, reszta pozostaje ukryta.

W kilku obszarach, między innymi w prawie i projektowaniu sprzętu, wyniki oceniają modele językowe według zdefiniowanych kryteriów, a nie ludzcy eksperci. Zewnętrzni obserwatorzy nie są w stanie w pełni zweryfikować ani trudności zadań, ani jakości oceniania.

Tajemnica ma jednak swoją zaletę

Zamknięty charakter testu ma też stronę metodologiczną. Skoro zadania nie są jawne, laboratoria nie mogą dostroić modeli pod konkretne pytania. Podobny krok wykonała firma Artificial Analysis przy najnowszej wersji swojego Intelligence Index.

Deweloper Josh Purtell określa jednak GDPx jako "więcej szumu niż sygnału". Zwraca uwagę, że każdy model działa w oprogramowaniu agentowym swojego dostawcy - na przykład Opus w Claude Code - co stawia firmy ze słabszymi narzędziami w gorszej pozycji. Poszczególne poddziedziny zawierają często zaledwie około dziesięciu zadań, przez co wyniki są niestabilne.

SemiAnalysis zapowiada aktualizacje benchmarku co trzy do sześciu miesięcy. Czy GDPx stanie się standardem oceny agentów AI, czy podzieli los wielu testów, których metodologia nie wytrzymuje krytyki środowiska - to pytanie pozostaje otwarte. Jedno jest pewne: obecne systemy mają jeszcze bardzo daleko do samodzielnego wykonywania złożonej pracy wiedzy.