Kompresja kontekstu gubi Twoje polecenia w AI

Prowadzisz długą rozmowę z asystentem AI w jednym oknie czatu. W pewnym momencie model musi „odświeżyć” swoją pamięć i kompresuje dotychczasową historię. Problem w tym, że w tym procesie giną kluczowe informacje – zwłaszcza te, które dotyczą Twoich ograniczeń. Naukowcy z Penn State postanowili sprawdzić, jak duże są te straty i jak im zaradzić. Wyniki ich badania rzucają nowe światło na to, dlaczego modele językowe potrafią ignorować nasze prośby.

Dlaczego kompresja kontekstu okrada Cię z kontroli

Okno kontekstu (context window) to przestrzeń robocza modelu AI, w której mieści się cała dotychczasowa rozmowa. Gdy użytkownik prowadzi bardzo długą sesję bez rozpoczynania nowego czatu, ta przestrzeń się zapycha. Producenci modeli opracowali więc mechanizm zwany „kompakcją” (compaction), który streszcza wcześniejsze wiadomości, aby zwolnić miejsce na nowe treści. Niestety, proces ten nieuchronnie prowadzi do utraty szczegółów.

Zespół z Penn State zbadał, które elementy rozmowy znikają najszybciej. Okazuje się, że najbardziej narażone na usunięcie są tak zwane „ograniczenia sesyjne” (session constraints). To reguły ustalane na czas trwania danej rozmowy, na przykład „zanim cokolwiek zmienisz, zapytaj mnie o zgodę” albo „nie używaj mojego imienia w odpowiedziach”. Takie polecenia nie należą do głównego zadania ani do stałych instrukcji systemowych – obowiązują tylko w bieżącej sesji, co czyni je wyjątkowo podatnymi na zgubienie.

Systemy kompresji projektowano z myślą o zachowaniu ciągłości zadania: pilnują celu, aktualnego stanu prac i kolejnych kroków. Warunki narzucone przez użytkownika traktowane są jako drugorzędne i często lądują poza zakresem podsumowania. Ktoś, kto powie agentowi „nie wysyłaj żadnych e-maili bez mojej akceptacji”, musi się liczyć z tym, że po kompakcji asystent zrobi dokładnie to, czego miał nie robić.

To nie tylko problem jakości, ale też bezpieczeństwa. Agent może wykonać nieautoryzowane wywołania narzędzi (tool calls), ujawnić informacje, które miały pozostać poufne, albo pominąć kroki weryfikacji wymagane przez użytkownika. Wyobraź sobie scenariusz: mówisz asystentowi, żeby potwierdzał każdą akcję (A), kompakcja usuwa tę regułę (B), a agent bez pytania zmienia wpis w kalendarzu (C).

Jak duże są straty i co mówią badania

Aby zmierzyć skalę problemu, badacze opracowali zestaw ewaluacyjny o nazwie COMPINT. Wyniki są zatrważające: średnio tylko 17 procent ograniczeń sesyjnych przeżywa kompresję. Oznacza to, że ponad 80 procent Twoich poleceń znika bez śladu. Co więcej, większość testowanych systemów kompresji radzi sobie gorzej niż całkowita rezygnacja z tego mechanizmu. Wyjątkiem jest GPT-5.4-mini, który w niektórych scenariuszach osiąga lepsze wyniki niż linia bazowa.

Gdy agent otrzymuje pełny, nieskompresowany kontekst z zachowanym ograniczeniem, zgodność z regułami wynosi od 59 do 71 procent. Po kompresji wskaźnik ten gwałtownie spada dla większości testowanych rozwiązań i często ledwo przekracza poziom, jaki obserwujemy przy całkowitym braku instrukcji. Nawet bardziej precyzyjne prompty kompresyjne, zaprojektowane specjalnie pod kątem zachowania ograniczeń użytkownika, nie rozwiązują problemu – retencja wciąż nie przekracza 40 procent.

To pokazuje, że samo dopracowanie poleceń do streszczania nie wystarczy. Problem leży głębiej – w architekturze procesu kompakcji, który z natury rzeczy preferuje informacje związane z zadaniem, a nie z preferencjami użytkownika.

Mały model, który ratuje Twoje reguły

Naukowcy z Penn State nie poprzestali jednak na diagnozie. Zaproponowali konkretne rozwiązanie: niewielki moduł dodatkowy, który działa równolegle do głównego systemu kompresji. Zbudowano go na bazie Qwen3.5-9B – kompaktowego modelu językowego, który czyta każde wejście od użytkownika, wykrywa ograniczenia sesyjne i gromadzi je w osobnej liście. Gdy nadchodzi czas na streszczenie kontekstu, moduł dołącza tę listę do podsumowania, dzięki czemu reguły pozostają nienaruszone.

Skuteczność tego rozwiązania robi wrażenie. Ekstraktor osiąga ponad 90 procent retencji we wszystkich trzech testowanych scenariuszach. W przypadku trajektorii agentów (agent trajectories) wynik wynosi 95,6 procent, dla długoterminowych zadań badawczych – 95,1 procent, a dla wieloetapowych czatów – 90,3 procent. Co istotne, moduł nie wymaga trenowania ani żadnych zmian w samym systemie kompresji. To rozwiązanie typu „plug-and-play”, które można wdrożyć od ręki.

Zestaw ewaluacyjny COMPINT oraz kod ekstraktora są dostępne publicznie na GitHubie, więc każdy może przetestować ich działanie na własnych danych.

Wyniki badania pokazują, że problem gubienia instrukcji podczas kompresji kontekstu jest realny i dotyka wszystkich użytkowników długich sesji z AI. Choć producenci modeli wciąż pracują nad lepszymi mechanizmami, to proste dodatki, takie jak opisany ekstraktor, mogą już dziś znacząco poprawić bezpieczeństwo i niezawodność asystentów. Warto mieć świadomość, że Twoje „zapytaj mnie wcześniej” może nie przetrwać podsumowania – i szukać narzędzi, które temu zaradzą.