Orca – chiński model świata, który uczy się jak człowiek

Specjaliści z Beijing Academy of Artificial Intelligence (BAAI) zaprezentowali Orcę – model świata, który może zmienić sposób, w jaki podchodzimy do uczenia maszynowego w robotyce i nie tylko. Zamiast trenować osobne systemy do przewidywania tekstu, generowania obrazów czy sterowania robotami, Orca buduje wewnętrzne, ogólne zrozumienie tego, jak zmienia się otoczenie. I robi to bez potrzeby kosztownego etykietowania danych.

Według autorów raportu technicznego prawdziwa inteligencja nie powinna opierać się na wyspecjalizowanych modelach predykcyjnych, takich jak modele językowe, generatory wideo czy sterowniki robotów. Potrzebujemy raczej systemów, które najpierw poznają ogólne zasady rządzące zmianami w świecie, a dopiero potem wykorzystują tę wiedzę do konkretnych zadań. Orca właśnie to robi.

Dwa tryby uczenia – nieświadome i świadome

Orca łączy dwie metody treningu, które badacze nazwali „uczeniem nieświadomym” i „uczeniem świadomym”. Każda z nich dostarcza modelowi innych informacji, ale obie trafiają do tego samego wewnętrznego repozytorium stanu świata.

Nieświadome uczenie – obserwacja bez instrukcji

W pierwszym trybie Orca ogląda surowe nagrania wideo, które nie mają żadnych podpisów ani adnotacji. Model analizuje pojedynczą klatkę i próbuje przewidzieć, jak będzie wyglądać następna. Co ważne – nie robi tego na poziomie pikseli, ale w abstrakcyjnej przestrzeni cech. Dzięki temu uczy się wzorców ruchu, przesłonięć i typowej dynamiki scen. To trochę tak, jakby oglądał świat bez żadnych wyjaśnień i samodzielnie odkrywał, co się w nim dzieje.

Świadome uczenie – akcja i jej skutek

Drugi tryb wprowadza element nadzoru. Nagrania wideo są dzielone na segmenty, a każdy z nich opatrzony opisem konkretnej zmiany stanu – na przykład „ręka sięga po kubek” czy „drzwi się otwierają”. Model uczy się, jak dana akcja wpływa na otoczenie. Dodatkowo trenuje na klasycznych zadaniach typu pytanie-odpowiedź związanych z wideo, dzięki czemu potrafi odpowiadać na pytania zadane w naturalnym języku.

W sumie do treningu zebrano 125 tysięcy godzin materiału wideo, 160 milionów opisów zdarzeń i 11,5 miliona par pytanie-odpowiedź. Nagrania pochodzą z czterech perspektyw: ujęcia z pierwszej osoby, ujęcia z trzeciej osoby, nagrania z robotów bez danych o akcjach oraz naturalne sceny. Co ciekawe, do obecnej wersji modelu wykorzystano tylko jedną dziesiątą tych danych.

Zamrożony rdzeń z wymiennymi modułami wyjściowymi

Architektura Orcy opiera się na wstępnie wytrenowanym modelu językowo-obrazowym Qwen3.5. Po zakończeniu głównego treningu ta centralna część pozostaje zamrożona. Do niej dołączane są oddzielne, mniejsze moduły, które przekształcają wewnętrzny stan świata na konkretne formy wyjścia.

Do generowania tekstu wykorzystywana jest istniejąca głowica językowa Qwen3.5. Obrazy powstają za pomocą Stable Diffusion 3.5 – też bez zmian, z tą różnicą, że małe adaptery łączące wewnętrzny stan Orcy z generatorem obrazów są jedyną trenowaną częścią. Z kolei do sterowania robotami zbudowano od podstaw moduł o nazwie „Action Expert”.

Takie rozdzielenie jest celowe. Zespół BAAI nie goni za najlepszymi wynikami w pojedynczych benchmarkach. Chce pokazać, że dobrze wytrenowany wewnętrzny stan świata może służyć jako uniwersalna baza dla bardzo różnych zadań – od odpowiedzi na pytania, przez przewidywanie obrazów, po fizyczne manipulacje robotem.

Wyniki benchmarków – Orca-4B radzi sobie lepiej niż większe modele

Orca została wytrenowana w dwóch wariantach: z 0,8 i 4 miliardami parametrów. Strata treningowa spada stabilnie wraz ze wzrostem ilości danych i rozmiaru modelu. Co ważne, im lepszy wewnętrzny stan świata podczas pre-treningu, tym lepsze wyniki we wszystkich trzech trybach wyjścia.

Wydajność w zadaniach tekstowych

Na zestawie testów tekstowych (MVBench, TemporalBench, 3DSRBench, SWITCH) Orca-4B osiąga średnią 51,8 procent. To najlepszy wynik wśród porównywanych małych modeli wizyjno-językowych i większych modeli świata. Pokonuje między innymi Qwen3.5-4B, Gemma 4-4B, DeepSeek-VL2-3B, a także znacznie większe Emu3 (8B) i Emu3.5 (34B). Co prawda w pojedynczych testach, jak MVBench, liderem jest Qwen3.5-4B, ale ogólna średnia przemawia na korzyść Orcy.

Przewidywanie obrazów – nowy benchmark PRICE-V0.1

Do oceny umiejętności wizualnych badacze stworzyli własny benchmark PRICE-V0.1. Wykorzystuje on rzeczywiste sceny z robotami i ujęcia z pierwszej osoby. Model musi wygenerować obraz efektu wykonania polecenia, na przykład „zamknij mikrofalówkę”. Orca-4B osiąga średnią 59,8 procent, wyprzedzając wyspecjalizowane generatory obrazów: FLUX.2 small (56,1%), FLUX.1-context (40,9%) oraz OmniGen2 (39,6%). Orca lepiej zachowuje kształt robota, punkty kontaktu z przedmiotami i związek z instrukcją. Czyste modele obrazów często dodają nieistotne obiekty lub halucynują dłonie.

Robotyka bez danych o akcjach w pre-treningu

Najciekawsze wyniki dotyczą robotyki. W pięciu zadaniach manipulacyjnych z użyciem dwuramiennego humanoidalnego robota na kółkach (układanie książek, układanie misek, nabieranie cukru) Orca dorównuje systemowi π0.5, który został wyszkolony wyłącznie na danych robotycznych. A przecież Orca w pre-treningu nigdy nie widziała par obraz–ruch. Dopiero później, do rzeczywistego sterowania, dołożono moduł wytrenowany na 200 nagraniach na zadanie, łączących obrazy z kamer z wykonywanymi ruchami.

W porównaniu z innymi podejściami – V-JEPA 2.1 i Qwen3.5 połączone z tym samym modułem sterowania – Orca wyraźnie góruje. Co więcej, pokazuje zdolność do odzyskiwania się po błędach: po nieudanym chwycie próbuje ponownie, podczas gdy wyspecjalizowany π0.5 utyka w powtarzających się niepowodzeniach. Autorzy widzą w tym potencjalny sposób na rozwiązanie chronicznego problemu robotyki – braku oznaczonych danych o akcjach.

Do treningu zespół użył własnej biblioteki FlagScale z optymalizacjami pamięci i komunikacji, osiągając 2,91 próbek treningowych na sekundę na procesorze H100 – to około 4,4 razy szybciej niż StarVLA, popularne środowisko w robotyce.

Ograniczenia i dalsze plany

Orca w obecnej wersji uczy się tylko z obrazów i tekstu. Brakuje jej informacji o dźwięku, sile dotyku czy sile oddziaływania. Wizualna predykcja działa w przestrzeni wstępnie wytrenowanego enkodera obrazów, a nie uczy się własnej reprezentacji świata od zera. Modele o 0,8 i 4 miliardach parametrów są też zbyt małe, by w pełni modelować złożoność świata. Opisy zdarzeń obejmują tylko krótkie okna czasowe – kilkuminutowe sekwencje.

Mimo to BAAI traktuje Orcę jako krok w kierunku docelowego modelu świata – takiego, który od początku będzie trenowany na wielu sygnałach sensorycznych. W szerszym kontekście badawczym wciąż trwa debata, jak właściwie definiować modele świata. Zespół z Uniwersytetu Pekińskiego zaproponował ujednoliconą definicję OpenWorldLib, która wyklucza czyste modele tekst-wideo jak Sora. Z kolei benchmark z Uniwersytetu Tsinghua pokazał, że nawet Sora 2 i Veo 3.1 mają problemy z fizycznie wiarygodnym rozwojem scen. W robotyce modele świata połączone z generowaniem akcji – tak zwane World Action Models – umożliwiają uczenie się ze zwykłych, codziennych nagrań wideo, które w ogóle nie zawierają danych o akcjach.

Orca to jeden z tych projektów, które mogą przyspieszyć przejście od wyspecjalizowanych systemów AI do ogólnego rozumienia świata. A to z kolei może sprawić, że roboty staną się znacznie bardziej autonomiczne i zdolne do adaptacji w nieprzewidzianych sytuacjach.