Jak Anthropic przyspiesza AI: 50% mniej tokenów w złożonych zadaniach

W świecie sztucznej inteligencji każdy zaoszczędzony token to niższy koszt i szybsze działanie. Firma Anthropic wprowadziła istotne ulepszenia w sposobie, w jaki jej modele językowe (LLM) korzystają z zewnętrznych narzędzi i API. Te zmiany, analizowane m.in. przez AI Jasona, skupiają się na radykalnej optymalizacji zużycia zasobów w złożonych, wieloetapowych zadaniach, które do niedawna były bardzo „kosztowne” pod względem tokenów. Dzięki nowym mechanizmom, takim jak programistyczne wywoływanie narzędzi czy filtrowanie dynamiczne, modele Claude mogą teraz działać wydajniej i precyzyjniej, otwierając nowe możliwości automatyzacji.

Programistyczne wywoływanie narzędzi: większa kontrola, mniej powtórzeń

Tradycyjne podejście do integracji LLM z narzędziami często polegało na statycznych wywołaniach w formacie JSON. Nowa koncepcja, którą wprowadza Anthropic, to programistyczne wywoływanie narzędzi. W skrócie, pozwala ona modelowi na dynamiczne pisanie i wykonywanie kodu w celu zarządzania wieloetapowym workflow. Zamiast sztywno zdefiniowanych sekwencji, model może wykorzystywać pętle, instrukcje warunkowe czy przetwarzanie wsadowe.

Deterministyczne wykonywanie zadań

Ta metoda zapewnia bardziej deterministyczne i elastyczne wykonanie zadań. Kluczową korzyścią jest redukcja redundancji. Zamiast wielokrotnie ładować te same lub podobne dane do okna kontekstowego modelu, programistyczne wywoływanie narzędzi przetwarza tylko niezbędne informacje. Przekłada się to bezpośrednio na mniejsze zużycie tokenów, szybsze działanie i wyższy wskaźnik sukcesu w kończeniu skomplikowanych operacji, takich jak automatyzacja analizy danych.

Filtrowanie dynamiczne: wycinanie zbędnych informacji u źródła

Kolejnym filarem optymalizacji jest mechanizm filtrowania dynamicznego. Gdy model pobiera dane z zewnętrznych źródeł, np. za pomocą wyszukiwania w sieci, często otrzymuje ogromne ilości tekstu, z których tylko ułamek jest istotny dla konkretnego zadania. Dynamiczne filtrowanie działa jak inteligentny filtr, który jeszcze przed przesłaniem treści do modelu odsiewa niepotrzebne fragmenty.

Wymierne oszczędności i lepsza jakość

Efekt? Do okna kontekstowego trafia wyłącznie to, co ma realne znaczenie. Specjaliści wskazują, że ta technika pozwala przeciętnie obniżyć zużycie tokenów o około 24%. Co istotne, to nie tylko oszczędność zasobów, ale także poprawa jakości odpowiedzi modelu. Skupiając się na kluczowych informacjach, LLM może generować trafniejsze i bardziej precyzyjne outputy, co jest nieocenione w zadaniach takich jak research rynkowy czy zaawansowane wsparcie klienta.

Wyszukiwanie narzędzi i przykłady wejściowe: precyzja w detalach

Dwie dodatkowe innowacje dopełniają obrazu optymalizacji. Pierwsza to inteligentne wyszukiwanie narzędzi. W złożonych środowiskach, gdzie dostępnych jest wiele różnych API i funkcji, ładowanie schematów wszystkich narzędzi na zapas jest marnowaniem tokenów. Mechanizm wyszukiwania dynamicznie identyfikuje i ładuje wyłącznie te narzędzia, które są niezbędne do wykonania aktualnego zadania.

Od 72% do 90% sukcesu dzięki przykładom

Szacuje się, że w workflow z wieloma narzędziami może to zmniejszyć zużycie tokenów nawet o 80%. Druga innowacja to wykorzystanie przykładów wejściowych. Dostarczając modelowi konkretne, ilustracyjne przykłady tego, jak powinien obsługiwać złożone lub zagnieżdżone parametry, znacząco podnosi się dokładność jego działania. Badania pokazują, że takie podejście może zwiększyć wskaźnik poprawnego obsłużenia parametrów z 72% do 90%. Jest to kluczowe w aplikacjach wymagających wysokiej niezawodności, jak automatyczne zarządzanie pocztą elektroniczną czy generowanie ustrukturyzowanych raportów.

Połączenie tych aktualizacji skutkuje znaczącymi zyskami wydajnościowymi w wieloetapowych procesach, redukując zużycie tokenów o 30–50%.

Praktyczne zastosowania w biznesie i nie tylko

Te techniczne ulepszenia znajdują bezpośrednie przełożenie na realne zastosowania. Gdzie widać największą różnicę? Przede wszystkim w obszarach wymagających przetwarzania dużych zbiorów danych i deterministycznych sekwencji działań.

W zarządzaniu komunikacją e-mailową, zoptymalizowane modele mogą szybciej i dokładniej sortować wiadomości, nadawać priorytety oraz generować odpowiedzi, minimalizując potrzebę ingerencji człowieka. W generowaniu treści, zmniejszone zużycie zasobów oznacza szybszą i tańszą produkcję wysokiej jakości materiałów, co pozwala firmom skalować output. Wreszcie, w obsłudze klienta, dynamiczne filtrowanie i wyszukiwanie narzędzi umożliwiają agentom AI efektywne rozwiązywanie nawet skomplikowanych zapytań przy wysokim natężeniu ruchu.

Krok w stronę bardziej sprawnej i skalowalnej AI

Aktualizacje Anthropic w dziedzinie wywoływania narzędzi to nie tylko drobne usprawnienia, ale istotny krok w ewolucji dużych modeli językowych. Wprowadzenie programistycznego podejścia, filtrowania dynamicznego, inteligentnego wyszukiwania narzędzi i pracy na przykładach bezpośrednio adresuje główne bolączki związane z kosztami i efektywnością. Te zmiany pozwalają LLM operować z większą precyzją przy mniejszym zużyciu zasobów, wyznaczając nowy standard w automatyzacji zadań. Dla organizacji z sektorów takich jak e-commerce, finanse czy zdrowie oznacza to możliwość wdrażania bardziej zaawansowanych i jednocześnie opłacalnych rozwiązań opartych na sztucznej inteligencji, które są w stanie sprostać wymaganiom skomplikowanych, wieloetapowych procesów.