Anthropic skraca czas odpowiedzi Claude o 35 procent

Anthropic udostępnił Message Threads w publicznej wersji beta na swojej platformie Claude. Do tej pory każde zapytanie do API wymagało ponownego przesłania całej historii konwersacji. Nowe rozwiązanie wysyła wyłącznie to, co zmieniło się od ostatniej wiadomości - co przekłada się na wyraźny spadek opóźnienia w odpowiedziach modelu.

To zmiana, która może mieć znaczenie szczególnie dla tych, którzy budują aplikacje oparte na długich rozmowach z modelem. Zamiast za każdym razem przetwarzać cały kontekst od zera, system skupia się na delcie.

Jak działa Message Threads i gdzie widać największe zyski

Według Anthropic skrócenie czasu do pierwszego tokenu (time to first token) wynosi około 35 procent w przypadku zapytań obejmujących od 500 tysięcy do miliona tokenów. To właśnie przy tak dużych kontekstach oszczędność jest najbardziej odczuwalna - im dłuższa rozmowa, tym większa korzyść z przesyłania jedynie zmian.

Firma wskazuje, że na nowym mechanizmie skorzystają przede wszystkim trzy grupy zastosowań:

• agenci kodujący, którzy prowadzą rozbudowane sesje z modelem,
• agenci obsługujący komputer (computer-use), gdzie kontekst rośnie wraz z kolejnymi krokami,
• workflow przetwarzające duże ilości dokumentów lub obrazów.

W tych scenariuszach historia rozmowy szybko pęcznieje, a każda dodatkowa sekunda oczekiwania na pierwszą odpowiedź modelu przekłada się na odczuwalne spowolnienie całego procesu.

Bezpieczeństwo i ograniczenia nowego mechanizmu

Wątek pozostaje zaszyfrowany w pamięci pomiędzy kolejnymi zapytaniami. Anthropic zdecydował się jednak na ograniczenie czasowe - jeśli przez pięć minut nie pojawi się żadna aktywność, thread wygasa. To rozwiązanie chroni przed niepotrzebnym utrzymywaniem nieaktywnych sesji w pamięci.

Warto zauważyć, że choć przesyłane dane są mniejsze, zużycie tokenów się nie zmienia. Claude nadal odczytuje pełną historię konwersacji - oszczędność dotyczy warstwy transmisji i czasu przetwarzania, a nie kosztu rozliczanego w tokenach. To istotne rozróżnienie dla zespołów planujących budżet na korzystanie z API.

Gdzie dostępna jest nowa funkcja

Message Threads działa na platformie Claude, a także przez AWS, Microsoft Foundry oraz Google Cloud. Szczegóły techniczne znajdziemy w dokumentacji Anthropic. Publiczna beta oznacza, że rozwiązanie jest dostępne szerzej, ale może jeszcze podlegać zmianom przed finalnym wydaniem.

Dla zespołów pracujących z długimi kontekstami to sygnał, że warto przetestować nowy mechanizm we własnych pipeline'ach - zwłaszcza tam, gdzie opóźnienie pierwszego tokenu bezpośrednio wpływa na doświadczenie użytkownika. Anthropic dołącza tym samym do wyścigu o wydajność w obsłudze rozbudowanych rozmów, który staje się jednym z kluczowych obszarów rywalizacji między dostawcami modeli.