GPT-6 Astra przepisuje wagi innych modeli AI

Badacze zaprezentowali nowatorskie podejście do modyfikowania modeli sztucznej inteligencji, które omija tradycyjny, kosztowny proces ponownego trenowania. Zamiast żmudnej optymalizacji matematycznej krok po kroku, model językowy o nazwie Astra działa bezpośrednio na surowych parametrach sieci neuronowych — niczym mechanik precyzyjnie regulujący poszczególne pokrętła. Metoda, nazwana przez twórców "Weight-Space Programming", może fundamentalnie zmienić sposób, w jaki podchodzimy do dostrajania i audytu systemów AI.

Jak model językowy czyta surowe wagi sieci neuronowych

Zespół badawczy przeprowadził serię eksperymentów, w których Astra otrzymywała wyłącznie listy liczb — surowe wagi wytrenowanych sieci — i musiała określić, czego dany model się nauczył. Wyniki okazały się zaskakująco trafne. Model bez problemu rozpoznał, w którą z czterech gier komputerowych miała grać analizowana sieć. Potrafił też zidentyfikować podstawowe kształty generowane przez model graficzny, choć mylił kontury z wypełnionymi figurami. Co istotne, Astra dopasowywała również język treningowy małych modeli językowych — i to bez dostępu do danych treningowych czy możliwości uruchomienia analizowanych systemów.

Wyzwanie z rozpoznaniem modelu schlebiania

Osobny test dotyczył rozróżnienia dwóch dostrojonych modeli językowych, z których jeden wytrenowano tak, by zawsze zgadzał się z użytkownikiem. Analiza samych wag początkowo nie pozwoliła Astra wskazać właściwego modelu. Dopiero gdy badacze umożliwili jej obserwację wzorców uwagi podczas przetwarzania tekstu, model poprawnie zidentyfikował system schlebiania we wszystkich trzech parach. To pokazuje, że sama struktura parametrów niesie ze sobą bogatą informację, ale czasem potrzebny jest dodatkowy kontekst.

Modele tworzone od zera przewyższają trenowane odpowiedniki

Najbardziej frapujący eksperyment polegał na wygenerowaniu wag dla sieci przeznaczonych do trzech prostych gier — wyłącznie na podstawie reguł i kodu źródłowego, bez jakiegokolwiek treningu. Według badaczy tak powstałe modele okazały się lepsze od tych trenowanych standardową metodą przez ponad 100 milionów rund. W grze Breakout sieć stworzona przez Astrę zdobywała średnio 517 punktów, podczas gdy wytrenowany baseline osiągał zaledwie 25. W dwóch pozostałych grach Astra ustąpiła jednak wersjom poddanym najdłuższemu treningowi.

W przypadku planszowego Go na siatce 9x9 Astra wygenerowała wagi sieci o około 1,5 miliona parametrów. Przy budżecie 50 iteracji testowych, w których sieć rozgrywała do 128 partii treningowych na rundę, a Astra korygowała wagi, model pobił porównywalnej wielkości sieć wytrenowaną na około 20 milionach gier. To sugestia, że precyzyjne programowanie parametrów może w niektórych scenariuszach zastąpić masowy trening.

Precyzyjne korekty zamiast pełnego retreningu

Najbardziej praktyczny wymiar badania dotyczył modelu językowego Qwen3.5-0.8B. Zadaniem Astry była poprawa zdolności matematycznych tego systemu z wykorzystaniem środowiska programistycznego i 50 iteracji z zadaniami ćwiczeniowymi. Ewaluacja odbywała się na osobnych problemach, których model wcześniej nie widział.

Astra zidentyfikowała znany problem, przed którym ostrzega sama dokumentacja Qwen: pętle myślowe, w których model w nieskończoność powtarza ten sam tekst zamiast dojść do rozwiązania. Następnie zmodyfikowała zaledwie 0,016 procent wszystkich wag. Efekt okazał się znaczący — dokładność na benchmarku MATH-500 wzrosła z 7,9 do 48,1 procent, a zdolność podążania za instrukcjami poprawiła się z 21 do 62 procent. Pętle myślowe nie zostały całkowicie wyeliminowane, ale odsetek odpowiedzi osiągających maksymalną długość tekstu spadł z 93 do 33 procent.

Warto zauważyć ograniczenie metody: w przypadku mniejszego modelu Gemma 3 270M, który rzadko wpadał w pętle, Astra nie osiągnęła mierzalnej poprawy. Badacze przypuszczają, że udało się jedynie usunąć blokadę tłumiącą istniejące możliwości Qwen — umiejętności, których model fundamentalnie nie posiada, nie da się dodać poprzez samą modyfikację wag.

Stary pomysł w nowym wydaniu?

Podejście wywołało dyskusję w środowisku. Pionier AI Jürgen Schmidhuber skomentował na platformie X, że metoda to "stary kapelusz", wskazując na własne prace z lat 90. Omar Khattab, jeden z autorów badania, odpowiedział, że w artykule linkują do tych publikacji, które były "daleko przed swoimi czasami". Nowością ma być to, jak dobrze współczesne modele językowe potrafią przekładać język naturalny na wartości liczbowe sieci.

Twórcy widzą potencjał w zastosowaniach bezpieczeństwa — na przykład audytach prowadzonych bezpośrednio na wagach modeli — oraz w precyzyjnych zmianach zachowania bez kosztownego retreningu. Przyznają jednak, że możliwości pozostają ograniczone. Kolejnym krokiem ma być opracowanie benchmarku do systematycznego pomiaru. Dzienniki eksperymentów udostępniono na GitHubie, a zmodyfikowany model Qwen na Hugging Face.

Jeśli metoda się rozwinie, może zmienić ekonomię pracy z modelami AI — zamiast trenować od zera lub kosztownie dostrajać, inżynierowie mogliby precyzyjnie regulować istniejące systemy. Na razie to obiecujący kierunek badań, który wymaga dalszej weryfikacji i standaryzacji pomiarów.