Qwen-Drive 1.0: model, który tłumaczy decyzje za kierownicą

Systemy autonomicznej jazdy od lat mierzą się z fundamentalnym problemem: jak sprawić, by model AI nie tylko reagował na otoczenie, ale faktycznie rozumiał trójwymiarową przestrzeń wokół pojazdu. Zespół badawczy Alibaba postanowił zmierzyć się z tym wyzwaniem, tworząc Qwen-Drive 1.0 – model, który łączy w sobie trzy kluczowe funkcje: percepcję otoczenia, odpowiadanie na pytania dotyczące ruchu drogowego oraz planowanie trasy. To jednak nie wszystko. Najciekawszy aspekt tej technologii kryje się w jej zdolności do wyjaśniania własnych decyzji – choć, jak się okazuje, te wyjaśnienia bywają mylące.

Dlaczego klasyczne podejście do trenowania modeli jazdy zawodzi?

Dotychczasowe systemy jeżdżące opierały się na prostym założeniu: weź ogólny model tekstowo-obrazowy, dostosuj go do danych z jazdy i gotowe. Badacze z Alibaba wskazują jednak na dwie istotne słabości takiego rozwiązania. Po pierwsze, model szkolony głównie na pytaniach i odpowiedziach o sytuacjach drogowych wciąż nie potrafi wiarygodnie oceniać odległości, pozycji obiektów czy wolnych przestrzeni. Po drugie, zbytnie wyspecjalizowanie w danych jezdnych prowadzi do zjawiska określanego jako „katastroficzne zapominanie” – model traci ogólną wiedzę zdobytą podczas wstępnego treningu. A właśnie ta wiedza okazuje się bezcenna w rzadkich, nieprzewidywalnych sytuacjach na drodze.

Co istotne, sam fakt, że model potrafi szczegółowo opisać obraz, nie oznacza wcale, że rozumie on trójwymiarową przestrzeń. To rozróżnienie stanowi sedno problemu, z którym mierzy się cała branża autonomicznej mobilności.

Budowa Qwen-Drive 1.0: dwa moduły zamiast jednego

Architektura Qwen-Drive 1.0 opiera się na modelu Qwen3.5-4B, który zadebiutował w lutym, oraz dwóch dodatkowych komponentach. Pierwszy z nich, odpowiedzialny za percepcję, generuje mapę otoczenia widzianą z lotu ptaka. W tym celu wykrywa obiekty w przestrzeni 3D, określa zajęte obszary i odwzorowuje układ drogi. Moduł ten pełni jednocześnie funkcję narzędzia pomiarowego – ujawnia, ile informacji przestrzennych model faktycznie wydobywa z obrazów.

Drugi element, nazwany Planning Expert, wykorzystuje wewnętrzne dane modelu do planowania ruchu pojazdu na najbliższe sekundy. Wszystkie funkcje jezdne działają przez wspólny model językowy, a oba moduły korzystają z jego pośrednich wyników. Co ciekawe, eksperymenty pokazały, że trenowanie wyłącznie dodatkowego komponentu bez ruszania modelu wizyjno-językowego nie przynosi efektów – dokładność przestrzenna pozostaje niska. Dopiero równoczesne szkolenie całego modelu na zadaniach przestrzennych znacząco poprawia wyniki. To dowód na to, że umiejętność przestrzennego rozumienia scen drogowych trzeba celowo wbudować w system.

Proces treningu i dane

Szkolenie modelu przebiega etapami: najpierw moduł percepcji, później połączenie percepcji z odpowiadaniem na pytania, a na końcu planowanie trasy. Finalny krok to doskonalenie zachowań przez uczenie przez wzmacnianie. Do części wizyjno-językowej zespół wykorzystał 24 publiczne zbiory danych ze scenami drogowymi. Ponieważ miały one różną strukturę i zawierały błędy, model AI ujednolicił pytania i odpowiedzi oraz dopasował je do oryginalnych danych. Badacze przygotowali też własne przykłady wyjaśniające, dlaczego samochód powinien podjąć konkretną decyzję – na przykład który obiekt wymusza hamowanie.

Jeden model do kokpitu i sterowania pojazdem

W nowoczesnych autach system informacyjno-rozrywkowy i system jazdy coraz częściej działają na jednym układzie obliczeniowym, zamiast na dwóch osobnych kontrolerach. Autorzy publikacji przekonują, że model poświęcający ogólne możliwości na rzecz czystej wydajności w prowadzeniu pojazdu nie zdaje tu egzaminu. Kokpit wciąż potrzebowałby bowiem osobnego modelu do obsługi dialogu czy pytań otwartych, co generuje dodatkowe koszty obliczeniowe.

W testach porównawczych Qwen-Drive 1.0 wypada znacznie lepiej niż niemodyfikowany model bazowy Qwen3.5-4B w kwestiach dotyczących scen drogowych. Największą różnicę widać w zadaniach wymagających wyjaśniania związków przyczynowo-skutkowych, czyli odpowiedzi na pytanie, dlaczego samochód powinien zahamować lub skręcić. Co ważne, ogólna wiedza modelu nie ucierpiała – wyniki poza dziedziną jazdy pozostały na zbliżonym poziomie, a w niektórych zadaniach przestrzennych nawet nieznacznie wzrosły.

Symulacje kontra rzeczywistość: gdzie leżą ograniczenia?

Testy planowania jazdy prowadzono na kilku poziomach trudności, aż do symulatora, w którym błędy kumulują się w czasie. Wersja modelu doskonalona nagrodami zmniejszyła odsetek zjechania z drogi z 24 do 12 procent. Pojazd prowadził też ostrożniej i pokonywał krótsze dystanse. W każdym scenariuszu model wyjaśnia swoją decyzję – na przykład hamowanie przed zwierzęciem na jezdni czy zatrzymanie się na czerwonym świetle.

Jednak wyjaśnienia modelu nie zawsze trafnie wskazują rzeczywistą przyczynę sytuacji. Czerwone światło w oddali i dziecko wchodzące na jezdnię wymagają zupełnie innego czasu reakcji, a model potrafi te dwie sytuacje pomylić. Co więcej, zaplanowany manewr nie zawsze odpowiada uzasadnieniu podanemu wcześniej przez system. Część wyników opiera się na procedurach testowych zaprojektowanych lub odtworzonych przez samych autorów, więc pojedyncze metryki niewiele mówią o zachowaniu systemu w chaotycznych, rzeczywistych warunkach drogowych.

Model wykazuje też znacznie słabszą skuteczność podczas analizowania nagrań pochodzących z innych pojazdów, wyposażonych w odmienne konfiguracje kamer. Odpowiednich danych treningowych dla takich ustawień wciąż brakuje. Zespół Qwen zmierzył tę lukę w rozumieniu przestrzennym za pomocą własnego benchmarku HopChain. Okazało się, że modele wizyjno-językowe błędnie klasyfikują obiekty i mylą relacje przestrzenne, nawet jeśli osiągają dobre wyniki w standardowych testach obraz-tekst.

Problem katastroficznego zapominania nie jest zresztą nowy. Gdy Google DeepMind budował w 2023 roku model PaLM-E, łączący język, obrazy i sterowanie robotem, mniejsze warianty straciły znaczną część zdolności językowych po treningu robotycznym. Największa wersja, licząca 562 miliardy parametrów, niemal nic nie straciła. Połączenie modelu językowego z funkcją prowadzenia pojazdu otwiera też nowe pole do ataków. Naukowcy z UC Santa Cruz umieścili w polu widzenia kamery oznakowany znak i nakłonili system DriveLM do gwałtownego skrętu w kierunku przechodzących pieszych, mimo że system wcześniej poprawnie ich wykrył.

Badania nad autonomiczną jazdą przesuwają się obecnie w stronę modeli typu World Action Models, które przewidują również, jak środowisko zmieni się w odpowiedzi na działania samego agenta. Zespół Qwen udostępnił swój model społeczności badawczej za darmo na platformach Hugging Face, ModelScope i GitHub. To krok w stronę otwartej współpracy nad rozwiązaniami, które kiedyś mogą sprawić, że samochody będą nie tylko bezpiecznie jeździć, ale też wiarygodnie tłumaczyć, dlaczego podjęły właśnie taką, a nie inną decyzję.