Gemini analizuje wideo mądrzej i taniej

Google wprowadza do kilku modeli z rodziny Gemini nową, agentową metodę analizy materiałów wideo. Zamiast skanować nagranie klatka po klatce według sztywnego klucza, system sam poszukuje istotnych fragmentów. Jak przekonują przedstawiciele koncernu, takie podejście znacząco obniża zużycie tokenów i koszty operacyjne, a przy tym potrafi wychwycić detale, które umykają tradycyjnym metodom.

Najnowsze wersje modeli — Gemini 3.7 Flash, 3.6 Flash oraz 3.5 Flash-Lite — mają potrafić wykrywać zdarzenia trwające krócej niż sekundę. Chodzi między innymi o zmiany stanu obiektów czy cięcia montażowe, które przy standardowej analizie jednej klatki na sekundę mogłyby zostać całkowicie pominięte. Według Google to krok w stronę znacznie bardziej precyzyjnej, zautomatyzowanej edycji wideo.

Jak działa agentowe podejście do analizy nagrań

Dotychczas Gemini opierało się na statycznym przetwarzaniu. Domyślnie próbkowano jedną klatkę na sekundę, a parametry można było modyfikować przez API. Od momentu debiutu natywnej analizy wideo w 2025 roku model transkrybował również ścieżkę dźwiękową i analizował klatki w stałym rytmie. Teraz architektura ma wyglądać zupełnie inaczej.

Agentowy wariant analizy wiąże rozumowanie modelu bezpośrednio z natywnymi narzędziami do pracy z wideo. Gemini sam decyduje, które sekcje nagrania zbadać, z jaką szybkością i za pomocą jakiego kanału — czy będą to klatki, audio, czy transkrypt. System pobiera wyłącznie te momenty i sygnały, które są faktycznie potrzebne do wykonania konkretnego zadania.

W praktyce Gemini korzysta z wewnętrznego narzędzia, które wycina z pliku wideo tylko istotny fragment. Wcześniej deweloperzy mogli budować podobne selektywne mechanizmy ręcznie, ale teraz model robi to w pełni automatycznie. Zamiast wczytywać całe nagranie w stałej rozdzielczości czasowej, Gemini w pętli wybiera i pobiera odpowiednie klatki, ścieżki audio lub transkrypty z potrzebnych sekcji.

Skuteczność potwierdzona w testach i oszczędność tokenów

Nowy mechanizm sprawdza się szczególnie dobrze przy długich materiałach. Mowa tu zarówno o 10-minutowych poradnikach, jak i 90-minutowych wykładach czy nagraniach trwających wiele godzin. Przy statycznym przetwarzaniu deweloperzy musieli wybierać między wysokimi kosztami tokenów a metodami, które gubiły istotne szczegóły.

System potrafi namierzać pojedyncze sceny w wielogodzinnych materiałach bez generowania milionów tokenów. Wykrywa anomalie poprzez ponowne próbkowanie podejrzanych okien czasowych z wyższą częstotliwością. Dodatkowo dokładnie zlicza powtarzające się ruchy i pojedyncze obiekty w dłuższym okresie.

Wyniki testów na benchmarkach 1H-VideoQA i LVBench pokazują, że zużycie tokenów spada o 88 procent, a dokładność jednocześnie nieznacznie wzrasta. Na wewnętrznych testach Google, w tym LongVideoBench, Gemini 3.7 Flash z analizą agentową osiąga najwyższą ogólną jakość i najlepszy balans między precyzją a kosztem. W ewaluacji 1H-VideoQA ten sam model uzyskuje największą dokładność przy najniższym koszcie na zapytanie.

Dostępność funkcji i plany na przyszłość

Rozwiązanie opiera się na koncepcji „agentic vision”, którą Google wdrożył w modelu Gemini 3 Flash już w styczniu. Ta funkcja pozwalała modelowi pisać i uruchamiać kod w Pythonie w celu powiększania, przycinania i opisywania obrazów. Każdy wynik był weryfikowany w pętli myślenie-działanie-obserwacja przed udzieleniem odpowiedzi. Na starcie nie działało to automatycznie w każdym przypadku, ale fundamenty zostały już położone.

Funkcja jest już dostępna dla przesłanych plików wideo oraz filmów z YouTube przez API Gemini w Google AI Studio i na platformie Gemini Enterprise Agent Platform. Deweloperzy ustawiają tryb przetwarzania na „agentic” w konfiguracji API i płacą standardowe stawki za tokeny, bez dodatkowych opłat. Szczegóły techniczne znajdują się w przewodniku dla deweloperów.

Google zapowiada, że usprawnienia trafią również do autorskich produktów firmy. Funkcja ma wkrótce zostać udostępniona wszystkim użytkownikom aplikacji Gemini na urządzeniach Flash i Flash Lite. W nadchodzących miesiącach agentowa analiza wideo zasili także funkcję „Ask YouTube” na stronie odtwarzania, umożliwiając udzielanie odpowiedzi ściślej powiązanych z tym, co faktycznie widać na nagraniu.

Nowy tryb analizy wideo to wyraźny sygnał, w którą stronę zmierza rozwój narzędzi AI do pracy z multimediów. Zamiast coraz większej mocy obliczeniowej, kluczowa staje się inteligencja w zarządzaniu zasobami. Model, który wie, czego szukać i gdzie patrzeć, może osiągać lepsze wyniki przy ułamku dotychczasowych kosztów. To podejście może wkrótce stać się standardem nie tylko w analizie wideo, ale i w innych dziedzinach przetwarzania danych.

Źródło

Może Cię zainteresować