Nvidia Nemotron 3.5 Super VL: otwarty model dla agentów AI

Nvidia poszerzyła swoją rodzinę otwartych modeli o Nemotron 3.5 Super VL – multimodalny system o 120 miliardach parametrów, zaprojektowany z myślą o agentach AI działających nieprzerwanie w tle. Równolegle debiutują dwa kompaktowe warianty Bolt, które mają wprowadzić agentów na lokalne komputery i urządzenia brzegowe. To wyraźny sygnał, że producent sprzętu chce łączyć otwarte oprogramowanie z własnymi układami.

Architektura stworzona do ciągłej pracy

Super VL powstał z myślą o wyspecjalizowanych agentach, które przetwarzają tekst, obrazy, dokumenty oraz wideo przez wiele godzin, a nawet tygodni. Model wykorzystuje architekturę Mixture-of-Experts (MoE), w której przy generowaniu każdego tokenu aktywnych jest jedynie 12 z 120 miliardów parametrów. Takie rozwiązanie pozwala zachować wysoką jakość przy znacznie niższym obciążeniu obliczeniowym.

Nad modelem pracowała koalicja Nemotron, w której skład wchodzą Mistral AI, Thinking Machines Lab, Perplexity oraz Black Forest Labs. Współpraca kilku podmiotów ma zapewnić szerszą perspektywę przy projektowaniu funkcji przydatnych w realnych zastosowaniach biznesowych.

Dwa warianty Bolt dla lokalnego sprzętu

Obok flagowego modelu Nvidia wprowadza dwa mniejsze systemy. Nemotron 3.5 Bolt 74B-A9B 24GB obsługuje zadania agentowe na lokalnych maszynach, a mniejszy Bolt E4B 4GB – nastawiony na szybkie asystenty głosowe – pojawi się w późniejszym terminie. Producent przekonuje, że oba oferują najwyższą inteligencję w przeliczeniu na gigabajt pamięci.

Nowe modele dołączają do istniejącej linii Nemotron. Lightning, wydany w sierpniu, został zoptymalizowany pod wysoką przepustowość, natomiast Ultra odpowiada za trudne zadania rozumowania. Każdy wariant jest dostrojony pod sprzęt Nvidii. W ogólnym rankingu Artificial Analysis Super VL ustępuje czołowym modelom zamkniętym, ale wyprzedza własny Nemotron 3 Ultra.

Wydajność i optymalizacja obliczeń

Super VL powstał w procesie destylacji z Nemotron 3 Ultra. Według Nvidii model ma dorównywać dokładnością swojemu większemu przodkowi przy zaledwie jednej piątej liczby parametrów – dotyczy to zadań takich jak realizacja instrukcji, wywoływanie narzędzi, wieloetapowe procesy biznesowe czy analiza obrazów. W testach agentowych Hermes i LangChain Super VL osiąga nawet wyższe wyniki niż Ultra, a także wyprzedza poprzednika Nemotron 3 Super na benchmarkach kodowania SWE-bench i Terminal-Bench.

Na benchmarku kodowania model wypada nieco słabiej od konkurencji pod względem dokładności, ale – jak zapewnia producent – kończy zadania czterokrotnie szybciej. Na pojedynczym GPU Super VL generuje do pięciu razy więcej przepustowości niż inne otwarte modele o zbliżonym rozmiarze w zadaniach agentowych. Niezależny test EXO Labs na stacji DGX Spark potwierdził, że żaden inny model nie był jednocześnie dokładniejszy i szybszy.

Kompresja i cache obniżają koszty

Nvidia stosuje format kompresji NVFP4. Na układach Blackwell model działa w pełni w precyzji 4-bitowej, natomiast na starszych kartach w 4 bitach przechowywane są tylko wagi, a obliczenia odbywają się w 16 bitach. Wrażliwe fragmenty sieci zachowują wyższą precyzję. Aby zapobiec utracie jakości, skompresowana wersja była trenowana tak, by odtwarzać wyniki oryginału.

Z oprogramowaniem inferencyjnym Dynamo Super VL obsługuje osiem razy więcej użytkowników, skracając czas do pierwszego tokenu o 85 procent. Wbudowany mechanizm szkicowania proponuje tokeny z wyprzedzeniem, które model główny weryfikuje w jednym przebiegu. Na DGX Spark Nvidia rekomenduje własną metodę LiLiCorr, oceniającą wszystkie szkice łącznie dla spójniejszego wyniku – przyspiesza ona generowanie tekstu nawet 2,3-krotnie. System buforuje też powtarzalne fragmenty, takie jak instrukcje czy historia rozmowy, i kieruje żądania z tej samej sesji do GPU, który przechowuje jej cache.

Zastosowania w firmach i na urządzeniach lokalnych

W warstwie wizyjnej Nvidia skupiła się na materiałach typowych dla codziennej pracy: OCR, tabelach, wykresach, wielostronicowych dokumentach i wideo. Super VL potrafi zinterpretować wykres, powiązać go z tabelą w tym samym dokumencie i podsumować oba elementy bez potrzeby używania osobnego modelu obrazu. Na benchmarku CharXiv osiąga 80,8 procent, podczas gdy starszy Nemotron 3 Nano Omni uzyskiwał 63 procent. Gdy model może dodatkowo uruchamiać kod w Pythonie, wynik rośnie do 84 procent.

Bolt 74B-A9B i wymagania sprzętowe

Bolt 74B-A9B 24GB to okrojona wersja Super VL z architekturą hybrydową MoE, w której na każdym kroku aktywnych jest 9 z 74 miliardów parametrów. Aby zmieścić model w 24 GB pamięci, zastosowano agresywną kwantyzację 2-bitową. Bolt radzi sobie z codziennymi zadaniami lokalnymi – wieloetapowymi procesami, wywoływaniem narzędzi czy wyszukiwaniem w sieci. Użytkownik może zlecić mu pisanie i debugowanie kodu albo dobór komponentów do swojego komputera.

Model jest zoptymalizowany pod nowy układ RTX Spark dla laptopów z Windows obsługujących AI oraz pod DGX Spark – kompaktową stację roboczą ze współdzieloną pamięcią do 128 GB. Działa też na kartach GeForce RTX, DGX Station i stacjach RTX PRO, a także obsługuje llama.cpp, Ollama, LM Studio i vLLM. Nawet przy silnej kompresji 24 GB to wysoka poprzeczka – oferują ją tylko drogie, zaawansowane konfiguracje, na które przy obecnych cenach GPU niewielu konsumentów może sobie pozwolić. Na razie Bolt celuje w deweloperów i właścicieli wydajnych stacji roboczych.

Wdrożenia w finansach i cyberbezpieczeństwie

Według Nvidii dziesiątki organizacji dostraja już Super VL do własnych potrzeb, głównie w branżach o dużym natężeniu dokumentów i wrażliwych danych. Scale AI przystosowała model do agenta obsługującego kredyty u dostawców w firmie medialnej Skydance, gdzie koszty mają spaść do jednej czterdziestej, a czas odpowiedzi – do jednej piątej. Ramp wykorzystuje model do zamiany zdjęć paragonów na dane strukturalne i oczekuje dziesięciokrotnie szybszych odpowiedzi. EY stosuje go w due diligence przy przejęciach, a Hebbia – do analizy umów kredytowych.

Druga fala wdrożeń pochodzi z cyberbezpieczeństwa. AI21 dostroiła Super VL dla firmy Alice, która analizuje zagrożenia i luki, poprawiając dokładność o 40 procent. Dream używa modelu do wyszukiwania podatności, a CrowdStrike buduje agentów do obrony sieci przedsiębiorstw. Salesforce planuje automatyzację procesów rządowych, R1 audytuje rozliczenia medyczne, a z modelu korzystają także Perplexity, Dassault Systèmes i Mercor.

Otwartość, dane treningowe i strategia Nvidii

Nvidia udostępnia wagi w trzech wersjach: bazowej, po treningu końcowym oraz skompresowanej 4-bitowej. Do tego dochodzą zbiory danych, przepisy treningowe i środowiska uczenia ze wzmocnieniem. To czyni Super VL bardziej otwartym niż wiele modeli open-weight, które zwykle dzielą się tylko wagami. Model trenowano na ponad 25 bilionach tokenów w fazie pre-treningu i treningu kontynuowanego, a trening końcowy i uczenie ze wzmocnieniem dodały około czterech milionów przykładów z blisko 100 otwartych środowisk.

Na Hugging Face Nvidia publikuje także zbiory danych do trenowania własnych modeli – dotyczące korzystania z narzędzi, realizacji instrukcji, obsługi długich tekstów i rozumienia obrazów, a także finansów, bezpieczeństwa i uczciwości. Jeden z zestawów obejmuje języki Indii i powstał we współpracy z Indian Institute of Technology Madras oraz laboratorium AI4Bharat. Zawiera około 2,83 biliona tokenów w 22 językach indyjskich, a dostrojony na nim Super VL wyprzedza większe modele specjalistyczne, takie jak Sarvam-105B.

Otwarte modele napędzają sprzedaż sprzętu

Super VL działa na systemach desktopowych DGX Spark, DGX Station, RTX PRO i RTX, na modułach Jetson w urządzeniach brzegowych oraz w centrach danych i chmurze. W ramach Nvidia NIM przedsiębiorstwa otrzymują model jako gotową do wdrożenia mikrousługę ze zwalidowanymi konfiguracjami i wsparciem, z aktualizacjami planowanymi co dwa tygodnie. Wagi są dostępne na Hugging Face.

Strategia stojąca za otwartymi modelami Nvidii jest wyraźnie korzystna dla samej firmy. Im więcej przedsiębiorstw uruchamia własne modele, tym większy popyt na moc obliczeniową, a otwarte systemy pozostaną zoptymalizowane pod sprzęt Nvidii w dającej się przewidzieć przyszłości. Jednocześnie Meta, Google, Anthropic i OpenAI rozwijają własne układy i dostrajają modele pod nie. Aby przyspieszyć rozprzestrzenianie się otwartych modeli AI, Nvidia zainwestowała niedawno 12,9 miliarda dolarów w Hugging Face – jedną z kluczowych platform do ich tworzenia i udostępniania.

Nemotron 3.5 Super VL pokazuje, że otwarte modele enterprise przestają być ciekawostką, a stają się realnym narzędziem dla firm z wrażliwymi danymi. Pytanie brzmi, czy ekosystem otwartych wag zdoła utrzymać tempo rozwoju, gdy najwięksi gracze coraz mocniej wiążą swoje modele z własnym sprzętem.