Agenci AI kodują, ale poprawki i tak robi człowiek

Wyniki agentów kodowania AI na popularnych testach sięgają niemal 100 procent — ale gdy zamiast syntetycznych zadań dostaną prawdziwe prośby użytkowników, obraz diametralnie się zmienia. Zespół badaczy z Alibaba oraz kilku azjatyckich uczelni opracował nowy benchmark Co-Design Bench, który powstał na bazie rzeczywistych zgłoszeń zmian w aplikacjach webowych. Wnioski są trzeźwiące: nawet najlepszy z dziesięciu testowanych modeli w pełni i poprawnie kończy tylko około jednej czwartej zadań.

Dlaczego dotychczasowe testy przestały cokolwiek mierzyć

Autorzy publikacji uzasadniają potrzebę nowego benchmarku nasyceniem istniejących zestawów testowych. Kiedy modele potrafią samodzielnie uruchamiać, sprawdzać i naprawiać własny kod, wyniki na starych testach przekraczają 99 procent, a różnice między poszczególnymi systemami stają się praktycznie niemierzalne. Na przykład na benchmarku WebCompass-edit modele agentowe osiągają niemal perfekcyjne rezultaty. Co-Design Bench odsłania natomiast lukę przekraczającą 35 punktów procentowych.

Nowy zestaw testowy czerpie z autentycznych sesji kodowania. Badacze celowo wybierali przypadki, w których użytkownicy musieli wielokrotnie przeformułowywać polecenia lub wycofywać wprowadzone zmiany. Dzięki temu w benchmarku znalazły się głównie zadania, które już w praktyce sprawiały agentom trudność. Ich skala jest szeroka — od drobnych korekt, jak pobranie kwoty z paragonu i zaktualizowanie wszystkich powiązanych sum, po gruntowne przebudowy całych projektów.

Multimodalność i surowa ocena

W ścieżce multimodalnej agenci muszą wydobywać wartości z paragonów, tabel czy nagrań wideo i spójnie aktualizować wszystkie zależne widoki. Ocena jest równie wymagająca: jeden sędzia AI testuje gotową aplikację w przeglądarce, a drugi weryfikuje każdy pozytywny werdykt, szukając makiet i zaszytych na sztywno wyników. Punkty przyznawane są wyłącznie za funkcje, które faktycznie działają w aplikacji.

Które modele wypadły najlepiej, a gdzie jest granica

W czołówce rankingu znalazł się GPT-6 Astra, który średnio spełnia około 70 procent wymagań zadania, ale w pełni poprawnie kończy jedynie 26,4 procent przypadków. Za nim uplasowały się Claude Opus 5 oraz Qwen3.8-Max, a na ostatnim miejscu znalazł się Grok 4.6. Przy większych przebudowach znacznie mniejszy Qwen3.8-27B awansuje na drugą pozycję, choć autorzy nie wyciągają z tego wniosku o ogólnej przewadze tego modelu.

Kluczowa słabość ujawnia się, gdy zadanie łączy kilka rodzajów zmian naraz — układ, design, interakcje i treść. Wszystkie dziesięć modeli notuje gorsze wyniki, gdy wymagane są trzy lub cztery różne typy modyfikacji. A właśnie takie splątane wymagania są codziennością w prawdziwych projektach.

Więcej mocy obliczeniowej nie rozwiązuje problemu

Zwiększona moc obliczeniowa niewiele tu pomaga. GLM-5.2 zużywa przy mniejszych zmianach prawie sześciokrotnie więcej tokenów niż GPT-6 Astra, a mimo to wypada wyraźnie słabiej. GPT-6 Astra prowadzi w obu ścieżkach, ale w pełni rozwiązuje tylko 41 procent zadań multimodalnych i niespełna 18 procent zadań repozytoryjnych.

Środowisko pracy agenta waży tyle samo co sam model

Osobny eksperyment pokazał, że wynik zależy nie tylko od modelu, lecz także od harnessa — programu, przez który agent czyta, zapisuje i wykonuje kod. Ten sam Qwen3.8-27B uzyskał 75 albo 56 procent na większych przebudowach, w zależności od środowiska. Również to, który z dwóch modeli wygrywa bezpośrednie starcie, zmieniało się wraz z otoczeniem.

Dlatego autorzy rekomendują raportowanie modelu i środowiska pracy zawsze razem. Dla firm wybierających agenta kodowania oznacza to konieczność testowania obu elementów jako pary, a nie oceniania samego modelu w izolacji. Leaderboardy uwzględniające wyłącznie nazwę modelu opowiadają bowiem tylko część historii.

Ograniczenia nowego benchmarku i szerszy kontekst

Co-Design Bench ma też swoje słabe strony. Ocenia jedno ustalone polecenie na zadanie — pytania uzupełniające i korekty w trakcie pracy nie są częścią testu. Sędziowie AI również mogą się mylić. Badanie organizacji METR pokazało wcześniej, jak dalece wyniki benchmarków rozmijają się z realną użytecznością: rzeczywisty wskaźnik akceptacji kodu generowanego przez AI przez prowadzących projekty był około 24 punkty procentowe niższy niż wyniki na powszechnie używanym SWE-bench Verified. Wady środowisk testowych potrafią też pozwolić agentom zaliczyć zadanie bez faktycznego rozwiązania go.

Wpływ środowiska nie jest jednak jednoznaczny. Inne niedawne badanie nad agentami kodowania nie wykazało niemal żadnej mierzalnej korzyści z bardziej rozbudowanych harnessów, mimo że zużywały one nawet trzykrotnie więcej tokenów. Obraz całości jest więc złożony: modele robią większość pracy, ale zostawiają niedokończone detale, a ostateczny rezultat zależy w równym stopniu od jakości narzędzi, w których pracują.

Praktyczny wniosek dla zespołów wdrażających agentów kodowania jest jasny — warto planować etap ręcznej weryfikacji i poprawek oraz testować całe zestawy: model wraz ze środowiskiem, na zadaniach odwzorowujących realne, wielowątkowe zmiany. Dopiero taka ocena pokazuje, ile pracy agent rzeczywiście zdejmie z barków developerów, a ile wciąż trzeba wykonać samodzielnie.