Benchmark API wyszukiwania dla agentów AI

Wybór odpowiedniego API do wyszukiwania dla agentów AI to często balansowanie między jakością, kosztami i szybkością. Do tej pory decyzje opierały się głównie na intuicji lub pojedynczych testach. Organizacja Artificial Analysis postanowiła to zmienić, publikując nowy benchmark „Search Index”, który w ustandaryzowany sposób porównuje czołowych dostawców tych usług. To pierwsze tak kompleksowe zestawienie, które pokazuje, jak duży wpływ na całkowity koszt i efektywność agenta ma samo wyszukiwanie informacji.

Jak działa nowy benchmark i kogo testuje

Pomysł na „Search Index” jest prosty, ale wykonanie wymagało precyzji. Zamiast testować całe systemy, Artificial Analysis postawiło na izolację jednego elementu. Każdy dostawca API wyszukiwania pracuje z tym samym modelem językowym (GPT-5.6 Luna) w jednakowym środowisku agentowym. Zmienia się wyłącznie źródło wyników wyszukiwania. Cały proces opiera się na otwartym frameworku Stirrup, a każdy agent wykonuje 25 prób na zadanie, aby przeszukiwać sieć i pobierać treści.

W pierwszej edycji benchmarku znalazły się takie podmioty jak Parallel, Exa, Firecrawl, You.com, Tavily, Keenable oraz Brave. Wyniki każdego z nich są oceniane na podstawie trzech równie ważnych komponentów. Pierwszy to DeepSearchQA, który zawiera 900 pytań badawczych wymagających wielu zapytań. Drugi to podzbiór BrowseComp, sprawdzający umiejętność dotarcia do 200 trudno dostępnych faktów. Trzeci, AA-Omniscience, obejmuje 600 pytań z sześciu różnych dziedzin wiedzy. Całość porównuje się z bazą, w której model odpowiada samodzielnie, bez dostępu do sieci.

Jakość wyszukiwania ma bezpośredni wpływ na koszty

Wyniki pokazują, że dostęp do dobrego wyszukiwania diametralnie zmienia możliwości modelu. Bez tej funkcji uzyskuje on zaledwie 33 punkty. Gdy może korzystać z API, wyniki skaczą do przedziału 65–75 punktów. Liderami zestawienia okazały się Parallel (75 punktów), Exa (74 punkty) oraz Firecrawl (73 punkty). To potwierdza, że wybór dostawcy może przesądzić o jakości odpowiedzi.

Co istotne, lepsza jakość wyszukiwania przekłada się na niższe koszty całkowite. Gdy agent od razu otrzymuje trafne wyniki, zużywa mniej tokenów na dalsze analizy. Przykład? Wersja Parallel Search (advanced) redukuje zużycie tokenów o ponad 40 procent w porównaniu z wersją Basic. Choć pojedyncze zapytanie w trybie advanced kosztuje więcej, całkowity koszt zadania spada z 0,11 do 0,084 dolara. To dowód na to, że oszczędzanie na jakości wyszukiwania może być pozorną korzyścią.

Szybkość odpowiedzi to nie wszystko

Intuicyjnie mogłoby się wydawać, że najszybsze API wygra wyścig o czas. Benchmark pokazuje jednak, że ten związek nie jest oczywisty. Parallel Search (turbo) odpowiada najszybciej na pojedyncze zapytanie – 0,51 sekundy wobec 1,03 sekundy w wersji Basic. Mimo to jego niższa jakość (67 punktów wobec 73) wymusza na agencie wykonywanie większej liczby przebiegów. Efekt? Całkowity czas realizacji zadania pozostaje praktycznie taki sam.

Oznacza to, że przy wyborze API nie warto kierować się wyłącznie metrykami surowej prędkości. Bardziej opłaca się patrzeć na całościowy obraz, który obejmuje liczbę iteracji potrzebnych do uzyskania satysfakcjonującej odpowiedzi. Z analizy Artificial Analysis wynika, że najlepszy stosunek kosztów do wydajności oferują obecnie Parallel, Firecrawl oraz Parallel (turbo). To właśnie te usługi warto brać pod uwagę przy projektowaniu wydajnych agentów.

Co dalej? Organizacja zapowiada, że kolejni dostawcy mogą dołączyć do benchmarku, a pełna metodologia jest publicznie dostępna. Dla firm rozwijających rozwiązania oparte na AI to szansa na bardziej świadome decyzje zakupowe, oparte na twardych danych, a nie marketingowych obietnicach. Rynek API wyszukiwania wciąż ewoluuje, a narzędzia takie jak „Search Index” pomagają oddzielić fakty od szumu informacyjnego.