GTFormer: graf zamiast attention i 4 mln tokenów

Transformer od lat pozostaje fundamentem niemal wszystkich dużych modeli językowych, ale jego największa zaleta — mechanizm self-attention — jest jednocześnie źródłem poważnego ograniczenia. Każdy token porównywany jest z każdym innym, przez co koszt obliczeń i pamięci rośnie kwadratowo wraz z długością sekwencji. Podwojenie kontekstu oznacza czterokrotny wzrost zapotrzebowania na zasoby. Na arXiv pojawił się właśnie preprint, który proponuje zupełnie inne podejście: całkowite zastąpienie attention strukturą grafową.

Autorką pracy jest Elisabeth Fink z Middlesex University London. Jej architektura, nazwana GTFormer, została opisana w 20-stronicowym dokumencie single-author opublikowanym 27 października. Najbardziej rzucająca się w oczy deklaracja: model trenowany wyłącznie na sekwencjach 512 tokenów osiąga niemal pełną skuteczność przy kontekście 4 194 304 tokenów, czyli około czterech milionów — i to bez żadnego dodatkowego dostrajania, na pojedynczym, przeciętnym GPU.

Dlaczego długi kontekst w Transformerach jest tak trudny

Aby docenić wagę tego wyniku, trzeba zrozumieć, z jakimi problemami mierzy się dziś cała branża. Standardowe self-attention tworzy macierz podobieństw między wszystkimi parami tokenów. To właśnie ta wszechstronna łączność daje Transformerom siłę wyrazu, ale jednocześnie sprawia, że przy dziesiątkach czy setkach tysięcy tokenów koszty stają się nie do udźwignięcia dla typowego sprzętu.

Badacze szukali obejść w dwóch głównych kierunkach. Pierwszy to attention rzadkie lub przybliżone — na przykład sliding-window attention, które koncentruje się tylko na wybranych parach tokenów. Drugi to modele subkwadratowe, takie jak Mamba czy RWKV, które zamiast attention stosują rekurencyjne aktualizacje stanu. Oba podejścia mają jednak swoje słabości: pierwsze gubi informacje poza oknem, drugie kompresuje cały kontekst do stałego rozmiaru, tracąc precyzję przy bardzo długich sekwencjach.

Zjawisko „length generalization failure”

Jest jeszcze trzeci problem, rzadziej omawiany, ale potencjalnie głębszy. Modele Transformer słabo radzą sobie z sekwencjami dłuższymi niż te, na których je trenowano — nawet gdy moc obliczeniowa nie jest wąskim gardłem. Większość współczesnych LLM-ów uczy się na sekwencjach od 4 do 32 tysięcy tokenów. Rozszerzanie kontekstu wymaga dalszego treningu lub sztuczek z kodowaniem pozycji, jak Rotary Position Embeddings stosowane w rodzinie LLaMA. To pomaga, ale nie eliminuje problemu — Fink określa to mianem „out-of-distribution attention collapse”, czyli załamania uwagi po przekroczeniu horyzontu treningowego.

GTFormer ma omijać tę pułapkę u samych podstaw — nie łatając attention, lecz usuwając je całkowicie.

Jak działa GTFormer: tokeny jako hierarchiczny graf

Pomysł polega na potraktowaniu ciągu tokenów nie jako płaskiej listy do „przeglądania” przez attention, ale jako węzłów w ustrukturyzowanym grafie. Informacja rozchodzi się po nim przez przekazywanie wiadomości między węzłami, a nie przez porównywanie każdej pary ze sobą. To nawiązanie do teorii grafowych sieci neuronowych (GNN) i znanego w niej problemu over-squashing — zjawiska, w którym sygnał z odległych węzłów zanika, gdy musi przejść przez wiele kroków.

Kluczowa inspiracja pochodzi z pracy Deaca, Lackenby’ego i Veličkovicia z 2022 roku. Wykazali oni, że wprowadzenie do GNN krawędzi opartych na grafach ekspanderowych — rzadkich, ale matematycznie dobrze połączonych strukturach — tworzy ścieżki o ujemnej krzywiźnie, które rozwiązują problem over-squashing. GTFormer przenosi ten mechanizm na tekst.

Pięć elementów strukturalnych architektury

Zbalansowane drzewo redukcji binarnej — tokeny są łączone od dołu do góry w pary, aż powstanie pojedynczy korzeń reprezentujący całą sekwencję. To główna droga agregacji dalekiego zasięgu.
Poziome krawędzie łączące sąsiadów — zachowują lokalną ciągłość, którą redukcja drzewa by zgubiła.
Losowe skróty ekspanderowe — rzadki zestaw długich połączeń, które pozwalają informacji omijać hierarchię drzewa. Lemat o mieszaniu ekspanderów gwarantuje, że takie krawędzie pokrywają statystycznie wszystkie pary węzłów.
Wielokanałowa bramka wypukła — uczy się, ile sygnału lokalnego, a ile zagregowanego przekazać dalej. Wypukłe ograniczenie zapobiega patologiom gradientu podczas treningu na krótkich sekwencjach.
Przebieg transmisji z góry na dół — po dotarciu do korzenia kontekst globalny wraca do każdej pozycji tokenu.

Stopień każdego węzła w połączonym grafie jest ograniczony stałą niezależną od długości sekwencji. To właśnie ta własność sprawia, że przekazywanie wiadomości jest liniowe względem liczby tokenów — każdy węzeł przetwarza stałą liczbę sąsiadów.

Pozycja zakodowana w strukturze, nie w liczbach

Być może najważniejszy detal: GTFormer nie używa żadnego kodowania pozycji. Transformer uczy się kolejności tokenów przez embeddingi pozycyjne dodawane do wejścia. Tutaj pozycja wynika wprost ze struktury — miejsce tokenu w drzewie binarnym zależy od jego indeksu w sekwencji. Role strukturalne (liść, węzeł pośredni, korzeń) są identyczne niezależnie od długości sekwencji, więc wyuczone wagi przenoszą się bezpośrednio na dłuższe ciągi. To właśnie umożliwia ekstrapolację zero-shot.

Co pokazują benchmarki

Fink testuje GTFormer na ośmiu benchmarkach długiego kontekstu — rozumieniu kodu, analizie logów i wieloetapowym wyszukiwaniu informacji. Modele uczą się wyłącznie na sekwencjach do 512 tokenów, a następnie są oceniane przy długościach sięgających 4 194 304 tokenów, bez żadnego dostrajania pomiędzy. Wyniki wskazują na utrzymanie niemal pełnej dokładności w całym zakresie ekstrapolacji, podczas gdy standardowe Transformery i ich warianty z RoPE załamują się — albo generują wzorce uwagi poza rozkładem treningowym, albo kończą pamięć przed osiągnięciem testowanych długości.

Równie istotne są wyniki na klasycznych, krótkich benchmarkach językowych: Wikitext-103 i C4. GTFormer dorównuje perplexity Transformerom o podobnym rozmiarze. To ważne, bo wiele propozycji długokontekstowych architektur osiąga wydajność kosztem jakości modelowania języka. Tutaj wymiana podłoża obliczeniowego nie pogarsza rozumienia tekstu.

Cała ewaluacja przy 4 milionach tokenów mieści się na jednej karcie graficznej. Dla porównania: dzisiejsza inferencja przy kontekście miliona tokenów zwykle wymaga konfiguracji wielo-GPU, bo pamięć KV cache rośnie liniowo zarówno z długością sekwencji, jak i rozmiarem modelu. GTFormer nie ma KV cache — cały stan to graf o złożoności O(N).

Gdzie GTFormer lokuje się w krajobrazie badań

Architektura Fink różni się strukturalnie od wszystkich głównych nurtów. Nie linearyzuje attention — usuwa je i zastępuje hierarchią grafową. W tym sensie jest bliższa literaturze o hierarchicznym poolingu w GNN niż pracom o liniowym attention. Omija też ograniczenie sliding-window attention, które nie ma mechanizmu łączenia tokenów spoza okna.

Dla porównania: Power Attention (Gelada i in., arXiv:2507.04239) to model o liniowym koszcie z regulowanym rozmiarem stanu, handlujący pamięcią za precyzję. GTFormer idzie odwrotną drogą — zachowuje wszystkie reprezentacje tokenów w grafie O(N) i polega na strukturze, by długi zasięg był dostępny.

Pytania otwarte przed niezależną replikacją

Preprint jednego autora z uczelni spoza ścisłej czołówki to nie gotowy model produkcyjny. Kilka kwestii zdecyduje o tym, jak daleko wyniki się uogólnią:

Skala treningu — benchmarki uczą na 512 tokenach, podczas gdy nowoczesne LLM-y trenują na sekwencjach 4–32 tys. tokenów z ogromnymi zbiorami danych. Czy przewagi GTFormer utrzymają się w realnej skali?
Generacja autoregresyjna — praca skupia się na benchmarkach rozumienia w stylu enkodera. Tryb dekodera, generujący token po tokenie, nakłada inne ograniczenia: każdy nowy token musi przyrostowo rozszerzać hierarchię grafu.
Niezawodność skrótów ekspanderowych — losowe krawędzie dają pokrycie teoretyczne w oczekiwaniu, ale czy wyuczone wagi niezawodnie wychwytują konkretne wzorce językowe, jak koreferencja czy struktura dyskursu?
Głębokość porównań — brak benchmarków przeciwko Mambie, RWKV i nowym architekturom hybrydowym, które wyznaczają dziś frontier wydajnego modelowania długiego kontekstu.

Fink ma zaplecze w matematyce czystej i data science, a jej badania koncentrują się na energooszczędności algorytmów uczenia maszynowego — profil, który pasuje do algebraiczno-grafowego charakteru GTFormer. Zanim twierdzenia zostaną uznane za ustalone, potrzebna będzie niezależna replikacja przez zespoły z większym budżetem obliczeniowym.

Dlaczego agentowa AI czyni tę architekturę priorytetem

Timing publikacji nie jest przypadkowy. Branża infrastruktury AI przechodzi właśnie zwrot ku systemom agentowym — rozwiązaniom, które rozumują przez długie sesje, utrzymują pamięć między krokami i wielokrotnie wywołują narzędzia przed zwróceniem wyniku. Konferencja FullyConnected 2026 organizowana przez CoreWeave, która odbyła się w zeszłym miesiącu w San Francisco, wskazała, że wąskim gardłem przy skalowaniu takich systemów jest nie tylko dostępność GPU, ale koszt pamięci i opóźnień przy utrzymywaniu długich łańcuchów rozumowania.

Modele prowadzące rozszerzone chain-of-thought przy trudnych problemach potrafią wygenerować ponad 100 tysięcy tokenów na jedno zapytanie. Wieloturowane sesje agentowe kumulują kontekst liczący miliony tokenów. W takim środowisku kwadratowe koszty i załamania generalizacji długości przestają być akademicką ciekawostką — stają się bezpośrednim ograniczeniem operacyjnym. Architektura, która naprawdę obsłużyłaby dowolnie długi kontekst w liniowym czasie i pamięci, bez degradacji poza horyzontem treningowym, byłaby cenna nie tylko jako wynik badawczy, ale jako infrastruktura. To właśnie problem, który GTFormer ma rozwiązywać — i dlatego nawet wstępny preprint w tym kierunku przyciąga uwagę środowiska.

Pełna wersja pracy jest dostępna na arXiv jako preprint 2610.37524. Czy grafowa hierarchia rzeczywiście zastąpi attention, czy pozostanie jedną z wielu obiecujących, ale nieprzetestowanych w produkcji alternatyw — rozstrzygną najbliższe miesiące i niezależne replikacje.