Nvidia GR00T 2 uczy roboty z wideo nagrań ludzi

Nvidia zaprezentowała nowy model fundamentowy sztucznej inteligencji o nazwie GR00T 2, który ma szansę zrewolucjonizować sposób, w jaki uczymy roboty nowych zadań. Zamiast godzinami zdalnie sterować maszyną podczas treningu, inżynierowie mogą teraz wykorzystać nagrania wideo z udziałem ludzi. To podejście znacząco redukuje czas i koszty przygotowania robotów do pracy.

Tradycyjna metoda, określana mianem teleoperacji, wymaga precyzyjnego kontrolowania robota przez operatora. Jest to proces kosztowny, powolny i wymagający osobnych danych dla każdego modelu maszyny. Nowe rozwiązanie Nvidii adresuje te problemy, przenosząc ludzkie ruchy z nagrań bezpośrednio na ramiona robotyczne.

Jak działa model world-action od Nvidii

Kluczową innowacją w GR00T 2 jest odejście od architektury vision-language-action, znanej z poprzedniej wersji modelu. Nvidia określa nowe podejście mianem world-action model (WAM), czyli modelu świata i akcji. System jednocześnie oblicza kolejny ruch robota oraz generuje krótki film przedstawiający najbliższą przyszłość.

W praktyce oznacza to, że model potrafi przewidzieć, jak zmieni się obraz z kamery, gdy ramię robotyczne podniesie dany przedmiot. Ta zdolność prognozowania wideo pozwala na transfer sekwencji ruchowych pomiędzy różnymi konstrukcjami robotów. Model uczy się na podstawie danych wizualnych i potrafi wygenerować w swojej symulacji ramię robota w miejsce ludzkiego, a następnie wyprowadzić z tego odpowiednie polecenia sterujące.

Trening na setkach tysięcy godzin nagrań

Do wytrenowania systemu Nvidia wykorzystała klaster obliczeniowy wyposażony w ponad tysiąc chipów GB300. Model przetworzył około 400 tysięcy godzin materiałów wideo, na których ludzie wykonywali rozmaite czynności, mając na głowach kamery. Ta obszerna baza danych pozwoliła systemowi nauczyć się wzorców ruchowych charakterystycznych dla człowieka.

Aby następnie nauczyć robota konkretnego zadania, wystarczy, że człowiek zademonstruje poszczególne kroki przy użyciu specjalistycznych rękawic, chwytaków lub egzoszkieletu palców. Kiedy takie nagrania zostaną połączone podczas treningu z ogólnymi danymi ruchowymi docelowego robota, AI generuje w swojej predykcji wideo ramię maszyny zamiast ludzkiego i na tej podstawie tworzy odpowiednie komendy sterujące.

Wyniki testów laboratoryjnych

W testach przeprowadzonych w laboratorium robot wyposażony w pięciopalczaste dłonie potrafił zapalić zapałkę, pokroić banana czy przerzucić paczki na taśmę conveyorową. Co istotne, nie był wcześniej teleoperowany do wykonywania tych konkretnych zadań. Skuteczność wahała się od 10 do 80 procent w zależności od stopnia trudności czynności.

System wykazał się również zdolnością uczenia się na podstawie pojedynczego nagrania ruchu ludzkiej dłoni. W symulacji komputerowej robot opanował w ten sposób wbijanie gwoździ. Dla 50 wybranych zadań, w których model radził sobie już dobrze po kilku przykładach, wystarczyło mniej niż trzy minuty konwencjonalnego treningu, aby podnieść wskaźnik sukcesu z 40 do 95 procent.

Wsparcie modelu językowego

Przy dłuższych pracach montażowych Nvidia łączy GR00T 2 z zaawansowanym modelem językowym, takim jak OpenAI GPT-6 Astra. Podczas gdy GR00T 2 odpowiada za ruchy chwytne, model językowy dzieli zadanie na poszczególne etapy, oznacza kolorem punkty chwytu na obrazie z kamery i uruchamia procedury pomocnicze, gdy jakaś część wypadnie. W eksperymencie, gdzie luźne elementy zabawkowych modeli leżały na stole w dowolnej kolejności, połączony system złożył je w co najmniej 97 procentach prób. Bez korygującego modelu językowego i dodatkowego dostrajania montaż samochodziku powiódł się jedynie w 23 na 100 podejść.

Zespół badawczy trenował również zadania wymagające precyzji, takie jak podłączanie kabli sieciowych czy ładowarek, metodą prób i błędów na rzeczywistym urządzeniu. Dla robotów dwunożnych Nvidia opracowała odchudzoną wersję GR00T 2 Turbo, która przetwarza mniej szczegółów obrazu. Działa ona bezpośrednio na pokładowym komputerze Jetson Thor humanoidalnego robota. W testach maszyna nabierała popcorn, sprzątała ze stołów i wycierała płyny ręcznikiem pod stopą. Ostatnie zadanie udawało się jednak w nieco mniej niż połowie prób.

Ograniczenia i wyzwania przed wdrożeniem

Mimo obiecujących rezultatów zespół badawczy wskazuje na istotne przeszkody, które trzeba pokonać, zanim system będzie gotowy do niezawodnego stosowania w rzeczywistych warunkach. Model nie przetwarza jeszcze bezpośrednich danych z czujników dotyku, przez co czasami przeocza subtelne błędy, takie jak na wpół przekręcona śruba.

Kolejnym problemem jest spowolnienie powodowane przez nadrzędny model językowy. Podczas sortowania śmieci robot stał bezczynnie przez około jedną trzecią całkowitego czasu, ponieważ musiał czekać średnio ponad siedem sekund na kolejne obliczenia modelu planującego. To opóźnienie może być kluczowe w zastosowaniach wymagających szybkiej reakcji.

Warto zauważyć, że inne laboratoria również poszukują metod uczenia robotów nowych zadań przy ograniczonej teleoperacji. Nvidia nie jest więc jedynym graczem na tym polu, choć jej podejście oparte na modelu world-action wyróżnia się na tle konkurencji.

Perspektywy dla robotyki

GR00T 2 pokazuje kierunek, w którym zmierza rozwój robotyki - od żmudnego programowania i zdalnego sterowania w stronę uczenia się przez obserwację. Zdolność transferu ruchów człowieka na różne konstrukcje robotów może w przyszłości znacząco obniżyć barierę wejścia w automatyzację dla firm, które dotąd nie mogły pozwolić sobie na zaawansowane systemy robotyczne.

Jednak droga do powszechnego wdrożenia wiedzie przez rozwiązanie problemów z opóźnieniami, integracją danych dotykowych i niezawodnością w złożonych scenariuszach. Jeśli Nvidii i innym zespołom uda się pokonać te przeszkody, możemy być świadkami nowej ery w relacji człowiek-maszyna, gdzie demonstracja zamiast programowania stanie się naturalnym sposobem komunikacji z robotami.