Flux 3 od Black Forest Labs: wideo z dźwiękiem i krok ku inteligencji wizualnej

Niemiecka firma Black Forest Labs (BFL) właśnie zaprezentowała Flux 3, model podstawowy o multimodalnym charakterze, który uczy się jednocześnie z obrazów, wideo i dźwięku. To nie tylko kolejne narzędzie do generowania treści – BFL określa Flux 3 jako krok w stronę „inteligencji wizualnej świata rzeczywistego”, czyli modeli zdolnych postrzegać, przewidywać i działać zarówno w środowisku fizycznym, jak i cyfrowym. Największą nowością jest możliwość tworzenia klipów wideo z natywnym dźwiękiem, a także zapowiedź otwartego dostępu do wag modelu.

Multimodalność jako fundament – dlaczego obraz, wideo i dźwięk muszą iść w parze

Dotychczasowe modele generatywne często skupiają się na jednej modalności – osobno przetwarzają obrazy, osobno wideo, a jeszcze osobno dźwięk. BFL twierdzi, że żaden pojedynczy kanał informacji nie oddaje pełni rzeczywistości. Zdjęcia ujawniają strukturę przestrzenną, wideo pokazuje, jak ta struktura zmienia się w czasie, a dźwięk łączy zdarzenia mechaniczne z ich akustycznymi skutkami.

Wspólne uczenie się zamiast oddzielnych ścieżek

Flux 3 wykorzystuje podejście nazwane przez twórców Self-Flow – technikę, która pozwala jednemu modelowi jednocześnie generować i rozumieć treść. Sercem systemu jest transformator multimodalny wyposażony w dedykowane kodery i dekodery dla obrazów, wideo, dźwięku oraz akcji. Każda z tych składowych przetwarza dane do wspólnej reprezentacji wewnętrznej, a następnie przekształca je z powrotem w konkretne wyjścia. Dzięki temu informacje z różnych modalności wzajemnie się uzupełniają – model dostaje więcej sygnałów niż przy trenowaniu każdej ścieżki osobno.

W efekcie – jak przekonuje BFL – Flux 3 nie tylko lepiej generuje wideo z dźwiękiem, ale też poprawia jakość obrazu, szczególnie w przypadku złożonych promptów i precyzyjnego renderowania tekstu w wielu językach. To ważny krok w stronę bardziej spójnych i realistycznych treści generowanych przez AI.

Generowanie wideo z natywnym dźwiękiem – wyniki robią wrażenie

Najbardziej widoczną nowością Flux 3 jest możliwość tworzenia klipów wideo z natywnym dźwiękiem – po raz pierwszy w historii modeli BFL. Klipy mogą trwać do 20 sekund, a system obsługuje scenariusze typu tekst-wideo, obraz-wideo, wideo-wideo, przejścia między klatkami kluczowymi, wielojęzyczne dialogi oraz agentowe łączenie fragmentów w dłuższe sekwencje z wieloma ujęciami. Firma podkreśla, że model szczególnie dobrze radzi sobie z mimiką ludzkiej twarzy i dopasowaniem dźwięków do zdarzeń fizycznych.

Konkurencja w tyle? Wstępne testy i ostrożne wnioski

BFL przeprowadziło wstępne oceny, w których użytkownicy porównywali 10-sekundowe klipy Flux 3 (w rozdzielczości 720p) z materiałami ośmiu konkurencyjnych systemów. Wyniki są imponujące: Flux 3 był preferowany nad Luma Ray 3.2 w 93% przypadków, nad Runway Gen-4.5 w 77%, a nad Grok Imagine Video w 69%. Przewaga topnieje, gdy porównujemy z mocniejszymi rywalami – nad Kling v3 Pro model wygrywał w 60% próbek, nad Happy Horse v1 w 59%, a nad Happy Horse 1.1 w 57%. Z kolei z Seedance 2.0 i Gemini Omni Flash Flux 3 uzyskał praktycznie remis (po 52% preferencji).

Należy jednak pamiętać, że BFL sama przyznaje, iż są to wyniki wstępne i nie zostały potwierdzone w niezależnych testach. Niemniej fakt, że model plasuje się na równi z Seedance (który już trafił do Hollywood) czy Gemini Omni Flash, stawia Flux 3 wśród czołowych generatorek wideo. To sygnał, że rynek może się wkrótce przetasować.

Od wideo do działania – komponent akcji i robotyka

Flux 3 to nie tylko generator treści. Model zawiera dedykowany komponent akcji, który stanowi podstawę dla zastosowań w robotyce. BFL współpracuje z firmą Mimic Robotics, opracowując rozwiązanie nazwane Flux-mimic – model wideo-akcji testowany już w warunkach produkcyjnych w zakładach Audi. Dzięki niemu AI może przewidywać działania na podstawie rozumienia świata fizycznego, co otwiera drogę do automatyzacji bardziej złożonych zadań.

Unified learning – lepsze wyniki niż tradycyjne flow-matching

Twórcy twierdzą, że zunifikowane uczenie się na wszystkich modalnościach przynosi lepsze rezultaty niż wcześniejsza standardowa metoda flow-matching – zarówno pod względem jakości generacji, jak i zdolności modelu do rozumienia praw fizyki. Komponent akcji jest zarazem elastyczny – BFL przewiduje, że można go rozszerzać o nowe zastosowania, na przykład w sterowaniu robotami, symulacjach czy interakcjach człowiek-maszyna.

Otwarte wagi i stopniowe wdrożenie – co to oznacza dla społeczności

BFL planuje stopniowe udostępnianie wszystkich możliwości Flux 3 w fazach, z okresami wczesnego dostępu do zbierania opinii i testów bezpieczeństwa. Flux 3 Video jest już dostępny, a Flux 3 Image pojawi się w ciągu najbliższych tygodni. Przewidywanie akcji na razie będzie oferowane wybranym partnerom. Dla społeczności open source kluczowy jest zapowiadany model Flux 3 Dev – dostępny z otwartymi wagami (open-weight), co pozwoli badaczom i deweloperom na własne eksperymenty i wdrożenia.

W dłuższej perspektywie BFL pracuje nad modelami kolejnej generacji, które mają łączyć percepcję, działanie i przewidywanie języka w jednym, spójnym systemie. Jeśli firma dotrzyma obietnicy otwartego dostępu, Flux 3 może stać się fundamentem dla nowej fali aplikacji AI – od filmowych efektów po roboty przemysłowe.

Jakie znaczenie dla polskich twórców i firm będzie miał dostęp do w pełni multimodalnego modelu z otwartymi wagami? Flux 3 pokazuje, że przyszłość AI to nie osobne narzędzia do obrazu, dźwięku czy ruchu – ale jedna, spójna maszyna, która rozumie świat tak, jak my.

Źródło

Może Cię zainteresować