Zespoły agentów AI: więcej kosztów, niewiele lepsze wyniki

Wraz z rozwojem dużych modeli językowych (LLM) coraz częściej mówi się o zespołach agentów AI jako kolejnym kroku ewolucji automatyzacji. Idea jest kusząca: zamiast jednego modelu, kilka współpracujących ze sobą agentów miałoby rozwiązywać złożone zadania szybciej i dokładniej. Najnowsze badania każą jednak spojrzeć na tę koncepcję znacznie bardziej sceptycznie.

Firma ewaluacyjna Vals AI przeprowadziła testy na benchmarku „Vibe Code Bench”, porównując modele GPT-6 Sol oraz Claude Opus 5.5 działające w pojedynkę i w zespołach. Wyniki są jednoznaczne: dodatkowi agenci generują ogromne koszty, a poprawa jakości jest znikoma.

Co pokazały testy Vals AI na Vibe Code Bench

Badacze sprawdzili oba modele na dwóch poziomach wysiłku rozumowania – średnim i maksymalnym. Każdy model testowano zarówno jako pojedynczego agenta, jak i w konfiguracji zespołowej. Kluczowy wniosek dotyczy relacji między kosztem a rezultatem.

Zespoły agentów okazały się od 1,8 do nawet 5,1 razy droższe niż pojedynczy agenci. Jednocześnie na cztery porównania tylko jedno wykazało statystycznie istotną poprawę: GPT-6 Sol przy średnim wysiłku rozumowania, gdzie zespół uzyskał wynik o 7,3 punktu wyższy. Przy maksymalnym wysiłku żaden z modeli nie odniósł realnej korzyści z pracy zespołowej.

Kiedy dodatkowi agenci naprawdę pomagają

Wyniki sugerują, że sens zatrudniania kolejnych agentów pojawia się głównie wtedy, gdy model nie pracuje jeszcze na pełnych obrotach. Gdy systemy działają już przy maksymalnym wykorzystaniu mocy obliczeniowej, dokładanie kolejnych instancji przestaje przynosić wymierne efekty.

Doświadczenia Anthropic: szybciej, ale nie lepiej

Podobne wnioski płyną z wewnętrznych testów Anthropic z modelem Opus 5.5. W dwóch z nich jakość rosła coraz wolniej wraz z dodawaniem kolejnych agentów. Większe zespoły osiągały dany poziom wydajności szybciej, ale przejście z dziesięciu na sto agentów dawało jedynie minimalny wzrost wyników po 24 godzinach pracy.

W osobnych testach ProgramBench szybsze rezultaty wiązały się z wyższym zużyciem tokenów. W zadaniu budowy bazy wiedzy wyniki rosły z 0,53 dla jednego agenta do 0,74 dla stu agentów. W dowodzeniu twierdzeń Lean wzrost był jeszcze wyraźniejszy – z 0,39 do 0,68. Model Fable 5.1 radził sobie lepiej niż Opus 5.5 przy skalowaniu powyżej dziesięciu agentów w zadaniu Lean, ale w zadaniu bazy wiedzy jego wynik wręcz spadł przy przejściu z 30 na 100 agentów.

Noam Brown: więcej agentów to szybkość, nie jakość

Badacz OpenAI Noam Brown potwierdził w podcaście Dwarkesh Podcast, że systemy wieloagentowe przede wszystkim przyspieszają pracę, a nie podnoszą jej jakość. Cztery agenty rozwiązywały zadania dwa razy szybciej, ale kosztowały dwa razy więcej. Przy szesnastu agentach wzorzec się utrzymywał, choć efektywność nieco spadała.

Rzucenie 10 000 agentów na napisanie powieści byłoby równie bezsensowne, jak rzucenie 10 000 ludzi na to samo zadanie.

Brown podkreślił, że efekt zależy od charakteru zadania. Badania w sieci i matematyka dobrze się paralelizują, ale pisanie powieści już nie. Przyznał również, że skalowanie do bardzo dużych liczb agentów pozostaje słabo zbadane, głównie ze względu na wysokie koszty.

Podatek od koordynacji – ukryty koszt rojów agentów

Deweloper OpenAI Eric Provencher ostrzegł niedawno przed stosowaniem rojów agentów właśnie z tego powodu. Jego zdaniem to najprawdopodobniej wyrzucone pieniądze, ponieważ koordynacja między agentami się załamuje. Określił to zjawisko mianem „podatku od koordynacji”.

Im więcej agentów, tym więcej komunikacji, synchronizacji i potencjalnych punktów zapalnych. Koszty rosną nie tylko liniowo wraz z liczbą instancji, ale także przez narzut związany z organizacją ich współpracy. W praktyce oznacza to, że zespoły agentów AI sprawdzają się w wąskim zakresie zastosowań – głównie tam, gdzie zadanie da się naturalnie rozłożyć na niezależne części.

Badania Vals AI, Anthropic oraz obserwacje Noama Browna i Erica Provenchera rysują spójny obraz: era rojów agentów AI jako uniwersalnego rozwiązania jeszcze nie nadeszła. W większości przypadków pojedynczy, dobrze skonfigurowany agent pozostaje najbardziej opłacalnym wyborem.