Agenci AI zużywają 136 razy więcej energii – badanie KAIST

Wyobraź sobie asystenta AI, który nie tylko odpowiada na pytania, ale samodzielnie planuje kolejne kroki, uruchamia kod, przegląda strony internetowe i korzysta z zewnętrznych narzędzi. Brzmi jak przepis na produktywność, ale okazuje się, że ta wygoda ma swoją cenę – i to dosłownie, w postaci gigantycznych rachunków za prąd. Nowe badania naukowców z Korea Advanced Institute of Science and Technology (KAIST) rzucają światło na problem, który może zadecydować o przyszłości całej branży.

Jak agenty AI różnią się od zwykłych chatbotów?

Gdy zadajesz pytanie chatbotowi – na przykład „jaka jest stolica Francji?” – model generatywny (LLM) przetwarza prompt i zwraca odpowiedź w jednym przebiegu. To proste, szybkie i stosunkowo tanie energetycznie. Agenci AI działają jednak zupełnie inaczej. Zamiast jednego wywołania modelu wykonują całą serię zadań: wielokrotnie sięgają po LLM, przeszukują internet, uruchamiają skrypty, korzystają z kalkulatorów i interagują z zewnętrznymi aplikacjami. Każdy taki krok wymaga osobnego obciążenia obliczeniowego.

Zespół pod kierunkiem profesora Minsoo Rhu z KAIST postanowił zmierzyć te różnice w praktyce. Naukowcy potraktowali agenty AI jako zupełnie nową kategorię obciążeń dla centrów danych i przeanalizowali ich zapotrzebowanie na zasoby w rzeczywistych scenariuszach. Wyniki okazały się zaskakujące nawet dla samych badaczy.

AI competitiveness is shifting from building „smarter AI” to building more efficient AI
– prof. Minsoo Rhu, KAIST

Ile dokładnie więcej prądu potrzebują agenci?

Badacze odkryli, że agent AI oparty na modelu językowym z 70 miliardami parametrów (porównywalnym z dzisiejszymi komercyjnymi systemami) zużywa średnio 348,41 watogodzin na zapytanie. Dla porównania – tradycyjny chatbot przy prostym pytaniu potrzebuje około 2,55 Wh. Różnica? Aż 136,5 raza. Co więcej, czas odpowiedzi agenta może być nawet 153,7 razy dłuższy niż w przypadku standardowego rozumowania krok po kroku (chain-of-thought).

Drogi sprzęt bezczynny przez ponad połowę czasu

Kolejny problem ujawnia się, gdy przyjrzymy się, co dzieje się z drogimi procesorami graficznymi (GPU) podczas pracy agentów. Okazuje się, że nawet najnowocześniejsze układy – na przykład NVIDIA H100 – pozostają bezczynne nawet przez 54,5% czasu wykonania. Dlaczego? Ponieważ muszą czekać na zakończenie zadań zewnętrznych narzędzi – na przykład aż strona internetowa się załaduje, skrypt się wykona albo odpowiedź z innego API wróci.

To kluczowe spostrzeżenie: GPU pobiera energię, nawet gdy nie wykonuje obliczeń AI. W tradycyjnych centrach danych takie przestoje są minimalizowane przez inteligentne szeregowanie zadań. W przypadku agentów AI sekwencyjny charakter działania utrudnia efektywne wykorzystanie sprzętu. Każde oczekiwanie na zewnętrzne narzędzie to dosłownie pieniądze (i megawaty) wyrzucone w błoto.

Co się stanie, gdy agenty AI obsłużą miliardy zapytań?

Aby pokazać skalę problemu, zespół KAIST przygotował model symulacyjny. Zakładając, że agenty AI będą przetwarzać 13,7 miliarda zapytań dziennie – czyli tyle, ile obecnie realizuje wyszukiwarka Google – potrzebna infrastruktura musiałaby dysponować mocą 198,9 gigawata. Dla porównania: to prawie połowa średniego zużycia energii elektrycznej w całych Stanach Zjednoczonych.

Dzisiejsze centra danych AI nie są w stanie obsłużyć nawet ułamka takiego obciążenia. Nawet najwięksi gracze, tacy jak OpenAI, Google, Microsoft czy Anthropic, którzy coraz śmielej inwestują w agenty AI, muszą zmierzyć się z faktem, że sama poprawa modeli nie wystarczy. Konieczna będzie równoległa optymalizacja półprzewodników, lepsze wykorzystanie GPU, inteligentniejsze projektowanie serwerowni oraz rozbudowa sieci energetycznych.

Przyszłość AI: nie tylko mądrzej, ale i wydajniej

Badanie pod tytułem „The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective” zostało zaprezentowane na tegorocznej konferencji IEEE International Symposium on High-Performance Computer Architecture (HPCA). Naukowcy udostępnili również swoje benchmarki jako open source, licząc na to, że społeczność badawcza i inżynieryjna pomoże znaleźć sposoby na ograniczenie jednego z najszybciej rosnących – i często pomijanych – kosztów AI: energii elektrycznej.

Profesor Rhu podkreśla, że konkurencyjność w dziedzinie sztucznej inteligencji przesuwa się z budowania „coraz mądrzejszych modeli” w stronę budowania „bardziej efektywnych systemów”. Kluczowym wnioskiem z badań jest konieczność podejścia co-design – czyli jednoczesnego optymalizowania modeli, chipów AI, serwerów i systemów energetycznych. Tylko w ten sposób uda się utrzymać koszty operacyjne w ryzach i zapewnić, że rozwój AI będzie zrównoważony na masową skalę.

Czy branża jest gotowa na taką zmianę priorytetów? Na razie agenty AI to wciąż nisza, ale wszystko wskazuje na to, że to właśnie one staną się standardem w ciągu najbliższych lat. Pytanie brzmi: czy infrastruktura energetyczna zdąży się dostosować, zanim rachunek stanie się nie do udźwignięcia?