Harness AI sam się przepisze: taniej o 26%

Przez lata postęp w dziedzinie agentów kodujących utożsamiano z rozmiarem modelu. Coraz większe sieci neuronowe miały po prostu rozwiązywać trudniejsze zadania. Tymczasem uwaga badaczy i firm przenosi się na warstwę, którą wiele zespołów traktowało jako nieciekawy szablon — tzw. harness, czyli oprogramowanie otaczające model i decydujące o tym, jak agent korzysta z narzędzi, ile rozumuje i jak weryfikuje wyniki. Dwa niezależne wydarzenia z tego samego tygodnia pokazują, że to właśnie tutaj rozgrywa się obecnie walka o wydajność.

Firma Factory zaprezentowała Droid 1.0 — komercyjnego agenta kodującego, który zamiast wywoływać narzędzia pojedynczo, pisze krótki program w JavaScripcie, grupujący wiele operacji i filtrujący wyniki jeszcze przed zwróceniem ich do modelu. Równolegle zespół z Uniwersytetu Tsinghua opublikował pracę HarnessPro, w której opisuje akademickie podejście do tego samego problemu: harness nie jest stałą infrastrukturą, lecz artefaktem inżynierskim, który można mierzyć, krytykować i systematycznie ulepszać.

Dlaczego harness stał się wąskim gardłem

Współczesny agent kodujący nie działa w próżni. Porusza się w środowisku, które określa dostępne narzędzia, limit czasu na rozumowanie, format odpowiedzi oraz logikę potwierdzania sukcesu. Dobór tych elementów zawsze miał znaczenie, ale dopiero niedawno zrozumiano, że optymalna konfiguracja nie jest oczywista z góry, a błędy w niej są kosztowne.

Najlepiej widać to na przykładzie wcześniejszych badań nad metodą RHO (Retrospective Harness Optimization). Pozwalała ona agentowi czytać własne logi wykonania, rozpoznawać wzorce porażek i przepisywać elementy harnessu. Na benchmarku SWE-Bench Pro, obejmującym 1865 rzeczywistych zgłoszeń z repozytoriów Pythona, skuteczność wzrosła z 59% do 80% przy modelach GPT-5.5 i Codex. Problem pojawił się po stronie kosztów: średni wydatek na zadanie urósł o 42,6%, z 1,88 do 2,68 dolara.

Metody te poprawiają wyniki, ale często kosztem większego zużycia tokenów i wyższego opóźnienia. W praktycznym wdrożeniu, gdzie liczą się również koszt wykonania i czas odpowiedzi, ten kompromis jest mniej atrakcyjny.

Zespół z Tsinghua postawił więc pytanie wprost: czy samodoskonalenie harnessu może jednocześnie poprawić dokładność i obniżyć koszty, czy nieuchronnie oznacza przerzucanie problemu z jednej szalki na drugą?

Cztery agenty w jednej pętli ewolucji

Odpowiedzią jest framework zbudowany wokół pętli czterech współpracujących agentów, działającej przez wiele epok. Każda epoka rozpoczyna się od niewielkiego, starannie dobranego zestawu zadań treningowych — po dziesięć z każdego benchmarku, wybieranych metodą procesu determinantalnego (DPP), która maksymalizuje różnorodność i pokrycie trudności.

Analizator trajektorii i planista ewolucji

Pierwszy komponent czyta pakiety śladów wykonania — po trzy niezależne przebiegi na zadanie — i tworzy ustrukturyzowaną diagnozę: co poszło nie tak i gdzie wydatki były najwyższe. Analiza wielu przebiegów równocześnie pozwala odróżnić rzeczywiste wzorce błędów od zwykłego szumu.

Planista ewolucji przekłada te diagnozy na trzy kierunki usprawnień, z których każdy kieruje się innym priorytetem: jeden stawia na oszczędność, drugi na równowagę, trzeci na maksymalną skuteczność. Potrafi też porównywać kandydatów, analizując różnice w ich kodzie i przenosząc sprawdzone mechanizmy z jednego wariantu do drugiego.

Edytor harnessu i syntezator testów

Edytor wdraża każdy plan w izolowanym środowisku Git, tworząc kompletny, wykonywalny artefakt — nie łatkę ani notatkę w promptcie, lecz samodzielny program, który można uruchomić od początku do końca na benchmarku.

Najciekawszym elementem jest syntezator testów, który mierzy się z kluczowym wyzwaniem samodoskonalenia bez etykiet: jak ocenić kandydata, nie znając prawidłowego rozwiązania? Badacze generują dziesięć wykonywalnych przypadków testowych na zadanie na podstawie specyfikacji i wstępnego przebiegu, a następnie zamrażają je na czas ewolucji. Dzięki temu każdy kandydat mierzy się z identyczną powierzchnią oceny. Skuteczność wykrywania rzeczywistych porażek wyniosła 83,3% — wobec 41,7% przy prostym osądzie LLM, który okazał się zbyt optymistyczny wobec własnych wyników.

Po każdej epoce kandydaci wypadają, jeśli mają gorszy współczynnik zaliczeń niż harness wyjściowy lub są zdominowani przez rywala jednocześnie pod względem kosztu i dokładności. Ocalali trafiają do kolejnej rundy w trzech wariantach: oszczędnym Lite, zbalansowanym Medium i wydajnym Heavy. Wynikiem nie jest jedno rozwiązanie, lecz menu kompromisów dla zespołów wdrożeniowych.

Co pokazują liczby

Eksperymenty przeprowadzono na dwóch parach modeli: GPT-5.5 z Codex oraz GLM-5.2 z Claude Code. Wariant Heavy poprawił współczynnik zaliczeń względem RHO, jednocześnie tnąc koszty.

• SWE-Bench Pro: Heavy osiągnął 80,7% przy 1,97 dolara za zadanie, podczas gdy RHO miało 80,0% przy 2,68 dolara — o 26,5% taniej. Czas wykonania spadł z 520 do 412 sekund.
• Terminal-Bench 2: Heavy uzyskał 80,8%, czyli o 4,5 punktu procentowego więcej niż RHO, obniżając koszt z 1,09 do 0,72 dolara (spadek o 33,9%).
• ProgramBench: Heavy zanotował 69,6% wobec 68,8% u RHO, przy koszcie niższym z 3,59 do 2,95 dolara (o 17,8%).

Uśredniając po trzech benchmarkach, Heavy dał wzrost skuteczności o 2 punkty procentowe i redukcję wydatków o 26,1% względem RHO. Wariant Medium zgodził się na stratę jednego punktu procentowego w zamian za spadek kosztów o 53%, schodząc do 1,26 dolara za zadanie. Gdy koszt liczy się tylko dla udanych prób, przewaga rośnie jeszcze bardziej: konfiguracja Lite na SWE-Bench Pro osiąga 1,11 dolara za sukces wobec 3,35 dolara u RHO.

Ten sam kierunek zmian utrzymał się po zamianie modeli na GLM-5.2 z Claude Code, co autorzy przedstawiają jako dowód uogólniania się metody — choć przy zaledwie dwóch parach modeli warto zachować ostrożność.

Jak wyewoluowane harnessy oszczędzają

Redukcja kosztów nie wynika z prostego obcięcia tokenów ani z osłabienia rozumowania agenta. Wyewoluowane harnessy nauczyły się dynamicznie rozdzielać wysiłek poznawczy w zależności od domniemanej trudności zadania.

Na Terminal-Bench 2 konfiguracja Medium stosuje haki działające w czasie rzeczywistym: po 14 wywołaniach narzędzi agent dostaje przypomnienie o grupowaniu operacji, po 26 — wskazówkę o finalnej weryfikacji, a po 44 — całkowity zakaz dalszego korzystania z narzędzi. Komunikaty są celowo dołączane do wyników narzędzi, a nie do głównego promptu, co pozwala zachować prefiks promptu dla ponownego użycia pamięci podręcznej. Ma to znaczenie, bo tokeny z cache kosztują około jednej dziesiątej ceny tokenów spoza niego.

Do tego dochodzą zmiany strukturalne: kompresja wyników narzędzi zwija powtarzające się wpisy logów i skraca rozwlekłe odpowiedzi, a uproszczone instrukcje dla deweloperów ograniczają zbędny kontekst. Kluczowe okazało się jednak to, że tych oszczędności nie da się odtworzyć, doklejając pojedyncze strategie do istniejącego harnessu. Dodanie samego routingu dynamicznego lub haków budżetowych do RHO obniżyło skuteczność na SWE-Bench Pro odpowiednio do 76,0% i 75,0% — poniżej bazowych 80,0%. Dopiero pełna pętla ewolucji pozwala poprawiać koszt i wyniki naraz.

Ostrożnie z odczytem benchmarków

Zanim uznamy te liczby za rozstrzygnięte, warto przypomnieć, jak kontrowersyjny jest cały ekosystem SWE-Bench. Oryginalny benchmark z 2023 roku opierał się na rzeczywistych zgłoszeniach z dwunastu repozytoriów Pythona. Późniejsza analiza odporności z 2024 roku wykazała, że około 33% rozwiązań oznaczonych jako poprawne miało poprawkę widoczną już w treści zgłoszenia lub komentarzach, a około 31% przeszło tylko dlatego, że zestaw testów był zbyt słaby, by wychwycić błędną łatkę. Po usunięciu obu kategorii wynik agenta opartego na GPT-4 spadł z 12,47% do 3,97%. W lutym 2026 roku OpenAI przestało cytować wyniki SWE-Bench Verified, powołując się na obawy o zanieczyszczenie danych.

SWE-Bench Pro, opracowany przez Scale AI we wrześniu 2025 roku, adresuje część tych problemów: ma większy zestaw zadań i obejmuje prywatne repozytoria. To bardziej rygorystyczna wersja rodziny, ale ogólne ostrzeżenie pozostaje aktualne. Wyniki benchmarków nie są surowym pomiarem zdolności — to artefakty projektu ewaluacji, a poprawa na benchmarku nie przenosi się wprost do środowiska produkcyjnego, gdzie opisy zgłoszeń bywają niejednoznaczne, repozytoria nieznane, a testów referencyjnych po prostu nie ma.

HarnessPro jest projektowany właśnie z myślą o środowiskach bez testów referencyjnych — to jego deklarowana zaleta. Ale działa też odwrotna strona medalu: zestaw testów generowany przez LLM jest tak dobry, jak zdolność modelu do wywnioskowania poprawnego rozwiązania wyłącznie ze specyfikacji. To problem nierozwiązany i sama praca to przyznaje.

Kontekst: fala harnessów i kwestie bezpieczeństwa

HarnessPro wpisuje się w szerszą falę badań, obok takich projektów jak AFlow, AHE czy SkillMOO. Wyróżnia go jednoczesne połączenie czterech właściwości: optymalizuje zarówno skuteczność, jak i koszt, działa na całym harnessie, a nie na pojedynczych komponentach, nie wymaga etykiet ani oficjalnych testów, a w wyniku daje zestaw opcji wdrożeniowych w sensie Pareto, a nie jedno rozwiązanie. Właściwość braku etykiet ma największe znaczenie praktyczne — oficjalne zestawy testów rzadko są dostępne na produkcji, a referencyjne rozwiązania dla nowych zadań z definicji nie istnieją.

Równolegle komercyjny Droid 1.0 od Factory pokazuje ten sam mechanizm w praktyce: wydajność tokenowa osiągana nie zmianą modelu, lecz architekturą harnessu. To nie konkurenci, lecz uzupełniające się podejścia — jedno ewoluuje to, co harness robi, drugie zmienia sposób, w jaki przepływa przez niego data między modelem a narzędziami.

Po stronie akademickiej pracą kierują Jie Tang i H. Vicky Zhao z Wydziału Informatyki Uniwersytetu Tsinghua. Tang należy do najbardziej rozpoznawalnych postaci chińskich badań nad AI — jest fellows IEEE, ACM i AAAI, a jego prace nad grafami wiedzy i systemem AMiner są szeroko cytowane. Jest także współzałożycielem firmy Z.AI (Zhipu AI) z Pekinu, która rozwinęła serię modeli GLM.

Z.AI działa w ramach chińskiego prawa, w tym ustawy o wywiadzie narodowym z 2017 roku, której artykuł 7 zobowiązuje organizacje i obywateli do wspierania pracy wywiadowczej państwa. Ustawy o bezpieczeństwie danych z 2021 roku i o cyberbezpieczeństwie z 2017 roku nakładają dodatkowe obowiązki lokalizacji danych i dostępu rządowego. Obowiązki te dotyczą firmy niezależnie od deklarowanej polityki prywatności czy lokalizacji serwerów. Zespoły, które rozważają wdrożenie GLM-5.2 w ramach HarnessPro, powinny mieć tego świadomość. Wybór modeli spoza Z.AI — GPT-5.5, Codex, Claude Code czy modeli otwartych — pozwala uniknąć tych zobowiązań, ponieważ HarnessPro jest frameworkiem otwartoźródłowym i niezależnym od modelu. Sama praca nie formułuje wobec GLM-5.2 żadnych twierdzeń poza wynikami eksperymentów dodatkowych, a zespół autorski obejmuje także Shanghai Jiao Tong University, University of Warwick i Kling AI.

Na koniec warto zauważyć szerszy kontekst. Przy skali produkcyjnej — milionów uruchomień agentów — nawet 26-procentowa redukcja kosztu zadania przekłada się na wymierne oszczędności operacyjne. Ważniejsze jest jednak to, że spadek nie odbywa się kosztem dokładności i bez ponownego trenowania modelu. Dla zespołów, w których koszty wnioskowania stały się ograniczeniem planistycznym, inżynieria harnessu przestaje być dodatkiem.

Badania wskazują też na dalszą perspektywę: potoki oceny i wykonania, które same się audytują, wykrywają nieefektywności i przepisują własne komponenty. HarnessPro pokazuje, że tę pętlę można domknąć w sposób uporządkowany i świadomy kosztowo, bez wręczania agentom prawidłowych odpowiedzi. Społeczność zajmująca się bezpieczeństwem rekurencyjnego samodoskonalenia — w tym główny naukowiec OpenAI Jakub Pachocki oraz ONZ — sygnalizuje, że zbliżamy się do progu zdolności wartego formalnej uwagi. Badacze rozróżniają przy tym RSI na poziomie harnessu, które nie zmienia właściwości alignmentu modelu, od RSI na poziomie wag, które ma zupełnie inny profil ryzyka. HarnessPro działa w tej pierwszej warstwie. Wraz z rosnącą zdolnością i skalą wdrożeń granica między „przepisywaniem rusztowania" a „przepisywaniem agenta" będzie jednak coraz ważniejszą linią do śledzenia.