OpenMobile-2: otwarte agenty AI na smartfony doganiają zamknięte modele

Więcej danych treningowych nie gwarantuje lepszych agentów obsługujących smartfony. Kluczowym czynnikiem okazuje się liczba różnych aplikacji, na których model ćwiczy swoje umiejętności. Badacze z Uniwersytetu w Nankinie, firmy SenseTime oraz kilku innych ośrodków akademickich postanowili zmniejszyć dystans dzielący otwarte rozwiązania od zamkniętych systemów wielkich koncernów. Efektem ich pracy jest OpenMobile-2 – zestaw narzędzi i modeli, który może zmienić reguły gry w tej dziedzinie.

Dlaczego otwarte agenty odstawały od komercyjnych rozwiązań

Systemy automatycznie poruszające się po interfejsach aplikacji uczą się przede wszystkim poprzez praktykę. Problem w tym, że wartościowe dane treningowe pozostają zamknięte w rękach dużych firm technologicznych. To właśnie dlatego modele dostępne publicznie wypadały słabiej niż ich komercyjne odpowiedniki. Zespół badawczy postawił sobie za cel zniwelowanie tej przewagi.

W ramach projektu udostępniono dwa modele agentów zbudowane na bazie Qwen3.5 (9 miliardów parametrów) oraz Qwen3.6 (27 miliardów parametrów). Publikacja obejmuje również kompletne środowisko treningowe, zbiory danych oraz instrukcje pozwalające odtworzyć cały proces. Według autorów ich rozwiązanie plasuje się w czołówce aktualnych agentów smartfonowych.

Odtworzenie ponad 110 aplikacji zamiast treningu na prawdziwych

Trenowanie agentów bezpośrednio na rzeczywistych aplikacjach nastręcza wielu trudności. Logowanie, dokonywanie prawdziwych zakupów oraz brak możliwości przywrócenia stanu początkowego sprawiają, że proces staje się kosztowny i trudny do powtórzenia w identycznych warunkach.

Dlatego naukowcy odtworzyli 35 aplikacji cieszących się popularnością głównie w Chinach – wśród nich Taobao, JD, DiDi i Meituan – a także usługi o globalnym zasięgu, takie jak Slack czy Google Drive. Po połączeniu z istniejącymi symulacjami oraz programami działającymi w emulatorze Androida środowisko treningowe objęło ponad 110 aplikacji.

Weryfikacja zgodności z oryginałami

Członkowie zespołu porównywali odtworzone wersje z pierwowzorami i wprowadzali poprawki tak długo, aż przebieg procesów oraz wygląd interfejsów przestały się różnić. Zamówienia, budżety i plany podróży zachowują trwałość między sesjami, a dane mogą być przekazywane między programami poprzez schowek. Każda symulacja automatycznie wraca do stanu wyjściowego, przy czym agent widzi wyłącznie zrzuty ekranu i nie ma dostępu do wewnętrznych danych aplikacji – podobnie jak człowiek korzystający z telefonu.

Generowanie przykładów i zadań

Na podstawie przygotowanego środowiska zespół wygenerował około 11 600 przykładowych przepływów pracy oraz ponad 2000 zadań treningowych z automatyczną kontrolą poprawności wykonania. Rolę modelu nauczycielskiego, który tworzył przykłady, pełnił Gemini 3.1 Pro od Google – oznacza to, że OpenMobile-2 uczy się pośrednio od systemu zamkniętego. Dla każdej odtworzonej aplikacji badacze z góry określili, która akcja zmienia który element stanu, a następnie weryfikowali rezultat automatycznie.

Wyniki na prawdziwych telefonach rosną najbardziej

Oba modele notują wyraźne postępy na uznanych benchmarkach. W teście AndroidWorld większa wersja podnosi wynik z 67,1 do 79,9 punktu, mniejsza zaś z 54,3 do 74. Poprzednik, OpenMobile-1, uzyskał w tym samym teście 64,7 punktu. Na trudniejszym benchmarku MobileWorld, obejmującym dłuższe zadania rozciągające się na wiele aplikacji, model 27B poprawia rezultat z 35,9 do 50,4 punktu. OpenMobile-2-27B osiąga 79,9 punktu na AndroidWorld i ustępuje jedynie Gemini 3.1 Pro w SPA-Bench przeprowadzanym na rzeczywistych urządzeniach.

Największy skok widoczny jest właśnie na fizycznych telefonach z Androidem – tam większy model wspina się z 31,9 do 59,6 punktu w SPA-Bench. Zdaniem autorów to najlepszy rezultat wśród modeli otwartych.

Różnorodność aplikacji ważniejsza niż wolumen danych

Badacze utrzymali stałą ilość danych i zwiększali wyłącznie liczbę aplikacji wykorzystywanych do ćwiczeń. Skutkiem był wzrost skuteczności na nieznanych wcześniej programach z 60,7 do 67,5 procent. Przy identycznym budżecie danych rozmaitość aplikacji okazuje się cenniejsza niż dodatkowe przykłady z kilku wybranych programów.

Po treningu hybrydowym modele częściej rozwiązują zadania z użyciem narzędzi i potrzebują na to mniej kroków. Dokładanie uczenia ze wzmocnieniem przyniosło jedynie ograniczone korzyści, głównie w środowiskach zbliżonych do warunków treningowych. Na AndroidWorld większy model wypadł po nim nieco gorzej – 79,9 zamiast 80,8 punktu.

Bezpośrednie polecenia pozwalają ominąć labirynt menu

Eksperymentalna część badania wykracza poza stukanie i przesuwanie palcem po ekranie. Ponad 50 symulowanych aplikacji udostępnia bezpośrednie polecenia typu „dodaj do koszyka”, dzięki czemu agent może pominąć nawigację przez kolejne menu. Model swobodnie przełącza się między oboma podejściami w zależności od dostępnych możliwości.

Same w sobie skróty niewiele dają, ponieważ modele mają skłonność do ich ignorowania bez ukierunkowanego treningu. Po odpowiednim przeszkoleniu agenci korzystają z nich efektywnie, rozwiązując do 10,3 punktu procentowego więcej zadań i potrzebując około pięciu kroków mniej. Zdaniem badaczy umiejętność ta przenosi się również na narzędzia, których modele nie napotkały podczas treningu.

W późniejszej fazie uczenia ze wzmocnieniem użycie narzędzi otrzymywało dodatkowy czynnik, ilekroć przebieg zawierał co najmniej jedno bezpośrednie polecenie – nagroda nadal zależała jednak od faktycznego ukończenia zadania. Kary pojawiały się, gdy agent raportował sukces, który nie miał miejsca. Tego typu interfejsy istnieją na razie wyłącznie w symulowanych aplikacjach, a sami autorzy określają to podejście jako eksperymentalne.

Kontekst konkurencyjnych rozwiązań

Część rezultatów pochodzi z autorskiego benchmarku złożonego z 215 zadań, z których niemal połowa obejmuje wiele aplikacji. Ukończenie zadania ocenia nie model językowy, lecz program porównujący dane zapisane w aplikacji przed i po każdym przebiegu. Autorzy sprawdzili też nakładanie się zadań treningowych i testowych – podobieństwa okazały się niewielkie.

Warto przypomnieć, że Microsoft Research już w 2025 roku zaklasyfikował agentów opartych na API jako bardziej niezawodne, a agentów GUI jako elastyczniejsze, wskazując aplikacje mobilne jako typowy przypadek braku zewnętrznych interfejsów. Oppo obiera inną drogę ze swoim otwartym agentem X-OmniClaw, który działa na rzeczywistych urządzeniach i odtwarza wcześniej pokazane ścieżki w aplikacjach takich jak Taobao czy Meituan za pomocą deeplinków, zamiast ponownie klikać przez menu. Wśród modeli zamkniętych Google wbudował sterowanie smartfonem bezpośrednio w Gemini 3.5 Flash.

OpenMobile-2 pokazuje, że otwarte agenty smartfonowe mogą zbliżyć się do komercyjnych rozwiązań, jeśli trening opiera się na szerokim wachlarzu aplikacji, a nie na samym zwiększaniu ilości danych. Udostępnienie pełnego środowiska i instrukcji odtworzenia procesu może przyspieszyć prace kolejnych zespołów. Otwartym pytaniem pozostaje, jak szybko symulowane interfejsy z bezpośrednimi poleceniami trafią do rzeczywistych aplikacji i czy przewaga zamkniętych systemów nie okaże się trwalsza, niż sugerują obecne wyniki.