DiffusionGemma: tekst bez autoregresji, szybciej i taniej

Google DeepMind pokazało, że budowa zaawansowanego modelu językowego nie musi zaczynać się od zera. Zamiast trenować nową architekturę od podstaw, badacze wzięli istniejący model Gemma-4-26B-A4B i przekształcili go w model dyfuzyjny. Efekt? DiffusionGemma generuje tekst wielokrotnie szybciej niż klasyczne modele autoregresyjne, zużywając przy tym ułamek zasobów obliczeniowych potrzebnych do treningu oryginału.

To podejście może zmienić sposób, w jaki myślimy o rozwoju sztucznej inteligencji. Zamiast za każdym razem budować wszystko od podstaw, można adaptować sprawdzone rozwiązania do nowych zadań. W tym przypadku zespół Google wykorzystał mniej niż dziesięć procent pierwotnego budżetu tokenów treningowych, co pokazuje, jak duży potencjał drzemie w modyfikacji istniejących modeli.

Jak działa dwuetapowy proces treningu DiffusionGemma

Proces przekształcania Gemmy 4 w model dyfuzyjny opiera się na dwóch kluczowych etapach. W pierwszym model uczy się rekonstruować zaszumione bloki tekstu na podstawie przykładowych danych. To pozwala mu zrozumieć, jak wygląda spójna struktura językowa i jak odtworzyć brakujące elementy.

Drugi etap łączy dwie techniki: uczenie przez wzmacnianie (reinforcement learning) oraz destylację próbnika (sampler distillation). Google nazwał to połączenie SD·RL. Uczenie przez wzmacnianie zazwyczaj poprawia jakość odpowiedzi, podczas gdy destylacja próbnika pozwala modelowi działać z mniejszą liczbą kroków obliczeniowych. Połączenie obu metod w jeden proces daje efekt synergii.

Wyniki hybrydowego podejścia

Zastosowanie SD·RL przynosi wymierne korzyści. Według raportu Google, połączone podejście podnosi jakość wyników w benchmarkach rozumowania średnio o dziesięć punktów. Co więcej, liczba tokenów generowanych na krok obliczeniowy wzrasta niemal czterokrotnie. Efektem ubocznym jest też krótsza forma odpowiedzi – DiffusionGemma generuje teksty o około 50 procent zwięźlejsze, co dodatkowo przyspiesza cały proces.

To istotna zmiana w porównaniu z tradycyjnymi modelami autoregresyjnymi, które generują token po tokenie w sekwencji. Model dyfuzyjny pracuje inaczej – tworzy całe fragmenty odpowiedzi równolegle, co naturalnie skraca czas oczekiwania na wynik.

Dwukierunkowe rozumowanie i samokorekta odpowiedzi

Klasyczne modele językowe mają pewną istotną wadę – muszą zdecydować o pierwszym znaku odpowiedzi, zanim przetworzą całe rozumowanie. Jeśli w trakcie generowania okaże się, że początek był błędny, model musi dodać korektę na końcu. To nieefektywne i prowadzi do niezgrabnych odpowiedzi.

DiffusionGemma rozwiązuje ten problem dzięki dwukierunkowemu rozumowaniu. Model rozwija odpowiedź i rozumowanie równolegle, dzięki czemu może poprawić błędy, zanim sfinalizuje wynik. W przytoczonym w raporcie przykładzie matematycznym, Gemma 4 zaczyna odpowiedź od „-1”, a w trakcie obliczeń dochodzi do wniosku, że poprawna jest wartość „-25” i dodaje korektę na końcu. DiffusionGemma natomiast koryguje taki błąd podczas późniejszych kroków usuwania szumu, zanim odpowiedź zostanie ukończona.

Praktyczne zastosowania dwukierunkowości

Ta właściwość sprawdza się szczególnie dobrze w zadaniach, gdzie każdy element zależy od pozostałych. Przykładem jest rozwiązywanie sudoku – każda wpisana liczba zależy od wartości, które pojawią się później. Po minimalnym dostrojeniu (fine-tuning), DiffusionGemma rozwiązuje poprawnie blisko 85 procent łamigłówek, podczas gdy bazowy model całkowicie sobie z tym nie radzi.

Podobnie działa generowanie ustrukturyzowanych danych, takich jak JSON czy naprawa kodu. Ponieważ dane wejściowe determinują większość tokenów, model potrzebuje zaledwie dwóch lub trzech kroków wygładzania, aby ukończyć zadanie. Co ważne, DiffusionGemma zachowuje też zdolność do generowania tekstu słowo po słowie, co pozwala użytkownikom przełączać się między oboma trybami w zależności od potrzeb.

Ograniczenia i obszary do dalszego rozwoju

Mimo imponujących wyników wydajnościowych, DiffusionGemma nie jest pozbawiona wad. Bezwzględna jakość odpowiedzi wciąż ustępuje autoregresyjnemu modelowi bazowemu. Google wskazuje kilka przyczyn takiego stanu rzeczy. Przede wszystkim, model nie był trenowany jako model dyfuzyjny od początku – został przebudowany po fakcie. Dodatkowo, etap SD·RL stawiał na szybkość kosztem maksymalnej jakości.

Architektura, dane treningowe i inne ustawienia zostały przeniesione z oryginalnej Gemmy 4, co niekoniecznie jest optymalne dla modeli dyfuzyjnych. Efektem są pewne artefakty, takie jak zapętlanie się modelu w powtórzenia pojedynczych słów. To konsekwencja agresywnego ograniczenia kroków obliczeniowych.

Kiedy przewaga szybkości znika

Przewaga prędkości DiffusionGemma ujawnia się głównie w scenariuszach jednoosobowych. Gdy do modelu trafia około 32 równoczesnych zapytań, klasyczne modele językowe doganiają go pod względem przepustowości. Ponadto, w zadaniach multimodalnych model czasami zapomina domknąć sekcji rozumowania, co sztucznie zaniża wyniki w benchmarkach.

Google wprost nazywa DiffusionGemma modelem eksperymentalnym. Celem publikacji jest przyspieszenie badań nad dyfuzją tekstu i dostarczenie społeczności podstaw do tworzenia wyspecjalizowanych, zasobooszczędnych adaptacji. Model już teraz znajduje zastosowanie w praktyce – startup Interfaze używa go do wielojęzycznego rozpoznawania mowy, a naukowcy pracują nad interaktywnym generowaniem raportów radiologicznych.

DiffusionGemma jest dostępny na Hugging Face na licencji Apache 2.0, co oznacza, że każdy może go pobrać, modyfikować i wykorzystywać w swoich projektach. Poprzednikiem tego modelu jest Gemini Diffusion, który Google zaprezentowało w maju 2025 roku.

Przekształcenie istniejącego modelu w architekturę dyfuzyjną to obiecujący kierunek dla branży AI. Pokazuje, że nie zawsze trzeba zaczynać od zera, aby osiągnąć znaczące postępy w wydajności. Jednocześnie jasno wskazuje, że przed nami jeszcze długa droga, zanim modele dyfuzyjne dorównają jakością swoim autoregresyjnym odpowiednikom. Najbliższe miesiące pokażą, czy społeczność badawcza podejmie rzuconą przez Google rękawicę.