VideoChat3 bije GPT-5 w lokalizacji temporalnej wideo

W świecie wideo AI od dawna panowała zasada: licz na wielkie, zamknięte modele, jeśli potrzebujesz precyzji. Do niedawna GPT-5 i Gemini 2.5 Flash wydawały się nie do pokonania w zadaniach wymagających dokładnego wskazania konkretnego fragmentu filmu, który odpowiada na pytanie. Sytuacja zmieniła się diametralnie 16 lipca 2026 roku, kiedy zespół 27 badaczy z Uniwersytetu Nankińskiego, Szanghajskiego Laboratorium AI, Uniwersytetu Technologicznego Nanyang oraz Uniwersytetu Pekińskiego wypuścił VideoChat3 – otwarty model o zaledwie 4 miliardach parametrów, który na trzech kluczowych benchmarkach Temporal Grounding pokonał obie komercyjne bestie.

Czym jest lokalizacja temporalna i skąd tak duża przewaga?

Lokalizacja temporalna (ang. temporal grounding) to jedno z najtrudniejszych zadań w analizie wideo. Chodzi o wskazanie dokładnego przedziału czasowego – powiedzmy od 12. do 17. sekundy – który zawiera odpowiedź na zadane pytanie, np. „Kiedy bohater wziął klucze?”. To coś więcej niż rozpoznanie obiektu; wymaga zrozumienia sekwencji zdarzeń i relacji czasowych. Właśnie w tym obszarze VideoChat3 zademonstrował miażdżącą przewagę.

Na benchmarku Charades-STA VideoChat3-4B uzyskał 56,1 punktu mIoU, podczas gdy GPT-5 osiągnął 40,5, a Gemini 2.5 Flash – 48,6. Na ActivityNet Captions model otwarty zdobył 54,6 wobec odpowiednio 42,9 i 52,5 punktów komercyjnych rywali. Trzeci benchmark, QVHighlights, przyniósł wynik 67,0 dla VideoChat3, podczas gdy GPT-5 zamknął się na 52,1, a Gemini na 64,3. Wszystkie te wartości pochodzą z tabeli 2 publikacji badawczej, która błyskawicznie wspięła się na trzecie miejsce rankingu Paper of the Day na Hugging Face.

Warto podkreślić: to wciąż wyniki samodzielnie raportowane przez autorów i nie zostały niezależnie potwierdzone. Jednak właśnie dlatego, że model jest w pełni otwarty, społeczność może szybko zweryfikować te liczby – o czym za chwilę.

Jak VideoChat3 przecina koszty przetwarzania o połowę?

Standardowe podejście: marnotrawstwo podobieństwa kolejnych klatek

Większość modeli wideo traktuje każdą klatkę jak osobny obraz – koduje ją w pełny zestaw tokenów wizualnych, a następnie przekazuje wszystkie do modelu językowego. Problem polega na tym, że sąsiednie klatki są do siebie bardzo podobne. Różnica między 94. a 95. klatką to często subtelny ruch o kilka pikseli. W efekcie do modelu językowego trafia powódź niemal identycznych tokenów, a koszt uwagi (attention) rośnie kwadratowo wraz z długością sekwencji.

I3D-ViT: kompresja 16× wewnątrz enkodera

VideoChat3 rozwiązuje ten problem za pomocą własnego enkodera I3D-ViT (ang. Inflated 3D Vision Transformer). Zamiast przetwarzać każdą klatkę osobno, enkoder grupuje je w czteroklatkowe fragmenty (chunki) i stosuje na każdym z nich samouwzględnienie czasowo-przestrzenne (spatiotemporal self-attention). Dzięki temu nadmiarowe informacje między klatkami są kompresowane już w enkoderze, zanim trafią do modelu językowego. W połączeniu z przetwarzaniem przestrzennym 2×2 daje to 16-krotną kompresję czasowo-przestrzenną.

Skutek? Przy 256 klatkach wejściowych VideoChat3 generuje 12 544 tokenów wizualnych. Qwen3-VL w identycznych warunkach produkuje 25 088 – dokładnie dwa razy więcej. Ponieważ koszt LLM (dużego modelu językowego) skaluje się kwadratowo z liczbą tokenów, oznacza to około 75% redukcji kosztów obliczeniowych. Porównanie z Tabeli 4 pokazuje, że przy 1024 klatkach opóźnienie inferencji LLM dla VideoChat3 wynosi 1,001 sekundy, podczas gdy Qwen3-VL potrzebuje 11,098 sekundy.

Streaming w trzech stanach: adaptacyjna uwaga jak u człowieka

Drugim mechanizmem jest pętla adaptacyjnego monitorowania strumienia wideo. VideoChat3 formalizuje trzy stany: Silence (nic istotnego – obserwacja w niskiej rozdzielczości 224×224), Standby (coś może być ważne – zwiększenie rozdzielczości do 448×448 dla następnego okna) oraz Response (zgromadzono wystarczające dowody – wygenerowanie odpowiedzi i powrót do monitorowania). Ponieważ ten sam enkoder I3D-ViT akceptuje różne rozmiary wejściowe, przełączanie rozdzielczości nie wymaga osobnego modelu – wystarczy zmiana budżetu pikseli na klatkę.

Trzy zbiory danych, które dały modelowi przewagę

Architektura to nie wszystko. Zespół przygotował trzy niestandardowe zbiory danych treningowych, które stanowią trzon osiągów modelu. Każdy z nich celuje w inny aspekt rozumienia wideo.

VideoChat3-Academic2M

To ponownie zaanotowany zbiór 2,27 miliona próbek pochodzących z akademickich zestawów pytań i odpowiedzi oraz napisów. Problem oryginalnych etykiet? Często były minimalne – pojedyncza litera wskazująca prawidłową odpowiedź, albo jedno słowo. Trenowanie na takich danych uczy model jedynie poprawnej etykiety, ale nie daje mu wskazówek, jak rozumować na podstawie dowodów wizualnych. Zespół użył modelu Qwen3-VL-235B-A22B do przepisania każdej rzadkiej adnotacji na szczegółową, uzasadnioną odpowiedź, a następnie przeprowadził weryfikację, by zachować spójność semantyczną z oryginałem.

VideoChat3-LV116K i VideoChat3-OL617K

Drugi zbiór obejmuje 116 200 długich filmów (od 156 do około 1300 sekund) z różnych dziedzin – rozrywka, sport, nauka, gry. Pipeline segmentuje każdy film na spójne temporalnie jednostki, anotuje je niezależnie, a następnie syntetyzuje zadania wymagające łączenia informacji z odległych fragmentów. Trzeci zestaw – OL617K – konwertuje pary wideo-pytanie z trybu offline na nadzór streamingowy: uczy model, kiedy dokładnie w strumieniu powinien odpowiedzieć – nie za wcześnie, nie za późno.

Gdzie VideoChat3 przoduje, a gdzie ma jeszcze braki?

Na ogólnych benchmarkach wideo VideoChat3 osiągnął najlepsze otwarte wyniki w MotionBench (61,7) i TempCompass (75,6), które testują subtelne rozumienie ruchu i czasu. W porównaniu z Qwen3-VL-4B model poprawił się w 18 z 19 bezpośrednio porównywalnych wskaźników. W streamingowych benchmarkach prowadzi w czterech z sześciu metryk agregowanych, w tym ODVBench (72,3 wobec 59,9 StreamForest) i StreamingBench Real-Time (83,0). Proaktywna zdolność odpowiedzi – przerwanie strumienia i wygenerowanie odpowiedzi w momencie zebrania dowodów – osiąga F1 35,5 w OVO-Timing, bijąc specjalistyczny model Em-Garde (31,0) mimo że ten używa dodatkowego modułu o 2 miliardach parametrów.

Nie wszystko jest jednak idealne. Na TOMATO (37,9) VideoChat3 odstaje od Molmo2-4B (39,8) i Gemini 3 Pro (48,3). Na TVBench (55,4) jest poniżej Molmo2-4B (65,2). W zadaniu ProactiveVQA ustępuje wyspecjalizowanemu MMDuet-2. Autorzy otwarcie przyznają te luki – dotyczą głównie zadań wymagających intensywnego rozumowania ogólnego, a nie precyzyjnej lokalizacji czasowej. Dodatkowo, sam enkoder I3D-ViT ma wyższe opóźnienie niż standardowy enkoder Qwen3-VL (0,385 s vs 0,466 s przy 256 klatkach), ale całkowity czas inferencji jest dramatycznie niższy, co czyni model korzystnym end-to-end.

Pełna otwartość: zmiana zasad gry w badaniach nad wideo AI

Rynek wideo AI w połowie 2026 jest podzielony między zamknięte systemy (Gemini, GPT-5, Kimi, Seed) a ekosystem open-source, w którym większość modeli udostępnia tylko wagi, bez danych treningowych i kodu. VideoChat3 łamie ten schemat: publikuje wagi, kod treningowy, strategię treningu oraz wszystkie trzy niestandardowe zbiory danych (łącznie około 3 milionów instrukcji). Wszystko jest dostępne w kolekcji MCG-NJU na Hugging Face, a na GitHubie znajduje się repozytorium z licencją.

Oznacza to, że badacze pozbawieni dostępu do gigantycznych zasobów obliczeniowych mogą odtworzyć trening od zera – to właśnie jest prawdziwy test, czy publikacja jest rzeczywiście użyteczna. Badanie z marca 2026 roku nad powtarzalnością w AI wskazuje, że prace z otwartym kodem i danymi otrzymują znacznie więcej cytowań i generują więcej prac pochodnych niż te, które nie udostępniają niczego. VideoChat3 może stać się modelem referencyjnym dla wideo MLLM, podobnie jak LLaVA było dla obrazów w 2023 roku.

Zastosowanie w robotyce i agentach: dlaczego to ważne teraz

Komercyjne znaczenie tej publikacji staje się jasne, spojrzawszy na trendy w AI w 2026 roku. Modele VLA (Vision-Language-Action), łączące percepcję wzrokową z fizycznym działaniem robota, stały się dominującym paradygmatem w ucieleśnionej AI. Na ICLR 2026 złożono 164 artykuły o VLA – 18 razy więcej niż rok wcześniej. Inwestycje w ucieleśnioną AI w pierwszej połowie 2026 roku przekroczyły już 5,6 miliarda dolarów, a rynek ma urosnąć z 4,44 miliarda w 2025 do 23,06 miliarda do 2030 roku.

Dla robota, który musi obserwować ciągły strumień wideo, zidentyfikować moment, w którym coś ważnego się dzieje, i zareagować w ułamku sekundy – VideoChat3 rozwiązuje najbardziej palącą przeszkodę. 16-krotna kompresja oznacza, że system wizyjny robota może przetworzyć dłuższy kontekst wideo przy tym samym budżecie obliczeniowym. Pętla Silence/Standby/Response pozwala monitorować scenę w sposób ciągły i alokować uwagę tylko wtedy, gdy dowody na to wskazują – dokładnie tak, jak efektywna percepcja robota powinna działać. Przy 4 miliardach parametrów model jest wystarczająco kompaktowy, by działać na urządzeniach brzegowych, gdzie opóźnienia chmurowego API są niedopuszczalne.

Co oznacza pochodzenie z chińskich instytucji?

Główni autorzy związani są z Uniwersytetem Nankińskim i Szanghajskim Laboratorium AI – obiema chińskimi instytucjami państwowymi. Chińska Ustawa o Wywiadzie Narodowym z 2017 roku (art. 7) zobowiązuje wszystkie organizacje i obywateli do „wspierania, pomagania i współpracy z wywiadem zgodnie z prawem”. To zobowiązanie prawne dotyczy tych instytucji, niezależnie od tego, gdzie hostowane są wagi modelu.

Dla użytkowników spoza Chin kluczowe jest to, jak dostęp do modelu wygląda w praktyce. Osoby pobierające otwarte wagi i uruchamiające je na własnym sprzęcie nie przesyłają swoich danych przez serwery chińskich instytucji. To zasadnicza różnica w porównaniu z korzystaniem z chińskiego API komercyjnego, gdzie dane zapytań płyną przez infrastrukturę podlegającą chińskiemu prawu. VideoChat3 nie podlega takiemu przepływowi danych, ale badacze integrujący model z wrażliwymi aplikacjami powinni przeprowadzić własny audyt kodu – jak przy każdym nowym, nieprzejrzanym wydaniu open-source.

Benchmarki w artykule są samodzielnie raportowane i nie zostały zweryfikowane przez niezależną stronę trzecią. To standard dla preprintów akademickich, ale społeczność badawcza słusznie traktuje je jako wstępne. Ponieważ VideoChat3 udostępnia pełny stack treningowy, niezależna replikacja jest teraz możliwa – i to jest strukturalna różnica między częściowym a pełnym otwarciem.

Jak VideoChat3 wpłynie na ekosystem open-source wideo AI?

Praktyczny efekt publikacji VideoChat3 to ustanowienie nowego, w pełni powtarzalnego baseline’u dla modeli wideo MLLM. Dotychczas porównania opierały się częściowo na zaufaniu do nieujawnionych konfiguracji treningowych. Teraz istnieje model, który każdy może odtworzyć i z którym każdy kolejny model może być uczciwie porównany.

Modułowa architektura – I3D-ViT jako samodzielny komponent, trzy zestawy danych oddzielnie, pełna receptura treningu – oznacza, że przyszli badacze mogą adoptować jeden element bez konieczności brania całego modelu. Zespół chcący ulepszyć rozumienie długich filmów może zacząć od pipeline’u danych VideoChat3-LV116K. Ktoś rozwijający system percepcji streamingowej może skorzystać z ramy Silence/Standby/Response, nie trenując całego modelu od nowa. To właśnie te inkrementalne wkłady umożliwiają otwarte ekosystemy, a zamknięte systemy uniemożliwiają.

Czy branża robotyki, przemysł ucieleśnionej AI czy środowisko akademickie jako pierwsze zbudują na tym modelu swoje rozwiązania? To zależy od tego, jak wyniki benchmarków utrzymają się po weryfikacji przez niezależnych badaczy. Fakt, że ta weryfikacja jest teraz możliwa – w dziedzinie, gdzie powtarzalność od dawna jest wąskim gardłem – jest sam w sobie najważniejszym osiągnięciem.

VideoChat3 nie jest cudownym rozwiązaniem wszystkich problemów wideo AI. Ma słabości w ogólnym rozumowaniu, a jego dane treningowe pochodzą z chińskich instytucji z własnym kontekstem prawnym. Ale dostarcza społeczności narzędzia, które wcześniej były zarezerwowane dla najbogatszych laboratoriów. I właśnie to – demokratyzacja dostępu do zaawansowanej analizy wideo – może okazać się najtrwalszym dziedzictwem tego wydania.