Nvidia Nemotron 3.5 Transcribe: transkrypcja i tłumaczenie

Nvidia rozszerza swoje portfolio otwartych narzędzi AI o model rozpoznawania mowy, który wykracza daleko poza zwykłą zamianę dźwięku na tekst. Nemotron 3.5 Transcribe ma łączyć transkrypcję, tłumaczenie oraz identyfikację rozmówców w jednym systemie, a do tego odpowiadać na pytania dotyczące nagrania. Producent twierdzi, że rozwiązanie prowadzi w kilku benchmarkach, a wraz z modelem udostępnia obszerny zbiór danych treningowych i narzędzia do dostosowywania go do wąskich dziedzin.

Sam zapis rozmowy to często za mało. Nie mówi, kto wypowiedział daną kwestię, nie tłumaczy obcojęzycznych fragmentów ani nie zapisuje poprawnie nazw leków czy terminów technicznych. Nowy model Nvidii został zaprojektowany tak, by uporać się z tym wszystkim naraz — i dodatkowo odpowiadać na pytania o treść nagrania.

Co potrafi Nemotron 3.5 Transcribe

Model obsługuje transkrypcję w 40 językach, z czego 31 może tłumaczyć w obu kierunkach względem angielskiego. Identyfikację mówców prowadzi w 13 językach. Nagrania mogą trwać do godziny i zawierać maksymalnie ośmiu rozmówców. Sterowanie odbywa się przez proste instrukcje tekstowe — w zależności od polecenia to samo spotkanie można zamienić w zapis z etykietami mówców, przekład na angielski albo streszczenie podjętych decyzji.

Użytkownik może też podać modelowi wskazówki w postaci trudnych terminów, na przykład nazw leków. System powinien wykorzystać je tylko wtedy, gdy faktycznie pojawią się w nagraniu.

Wyniki blisko czołówki przy ułamku obliczeń

Model liczy 30 miliardów parametrów, ale podczas przetwarzania aktywne jest tylko około 4 miliardów. Dzięki temu działa na pojedynczym GPU Nvidii — od kompaktowego DGX Spark po sprzęt data center. Producent deklaruje, że na RTX PRO 6000 Blackwell Server Edition w precyzji NVFP4 model przetwarza 100 godzin audio w niecałe trzy minuty.

W rankingu Hugging Face English Open ASR Leaderboard Transcribe zajmuje pierwsze miejsce wśród modeli z otwartymi wagami, osiągając średni współczynnik błędów słów na poziomie 5,33 proc. W porównaniu Artificial Analysis uzyskuje 2,81 proc. — blisko najlepszego otwartego modelu Voxtral Small (2,77 proc.), choć zużywa około jednej szóstej aktywnych parametrów. Według Nvidii kilka popularnych komercyjnych usług mowy wypada gorzej. Na liście Hugging Face model wyprzedza otwarte rozwiązania Alibaby i IBM.

Rozpoznawanie mówców to najmocniejsza strona

Największa przewaga ujawnia się przy identyfikacji, kto mówi. W teście VoiceArena, obejmującym 14 systemów i rozmowy, w których uczestnicy nawzajem się przerywają, Transcribe zajął pierwsze miejsce. Model zgubił też najmniej słów — 8,32 proc. wobec mediany około 31 proc.

W benchmarku David AI, mierzącym przypisanie wypowiedzi w 21 językach, uzyskał najniższy odsetek błędów, wyprzedzając nawet dedykowany model Nvidii stworzony wyłącznie do tego zadania.

Otwarty zbiór danych i dostrajanie do własnych potrzeb

Wraz z modelem Nvidia udostępnia dataset Granary v2 — około 844 tysiące godzin mowy w 48 językach, w porównaniu do mniej więcej 643 tysięcy godzin w 25 językach w poprzedniej wersji. Każde nagranie występuje w kilku wariantach zapisu: dosłownym, z wypełniaczami typu „eee” i liczbami zapisanymi słownie, oraz oczyszczonym, bez wypełniaczy i z cyframi. Firma dzieli się również narzędziami użytymi do budowy zbioru, aby developerzy mogli przetwarzać własne nagrania. Zastrzega jednak, że dataset nie pokrywa się w pełni z danymi treningowymi modelu.

Przykład: medyczne dostrojenie

Nvidia przetestowała ukierunkowane dostrajanie na nagraniach indyjskich lekarzy i studentów medycyny. Na pełnym benchmarku precyzyjniejsza instrukcja obniżyła współczynnik błędów z 30,8 do 23,8 proc. Po dostrojeniu spadł on do 11,8 proc. Dane treningowe były w większości mową syntetyczną. Dla mówców, których model wcześniej nie słyszał, firma osobno raportuje spadek z 22,44 do 12,17 proc., czyli względną poprawę o 45,8 proc. Dostosowany model wyprzedził otwarty medyczny model mowy, który uzyskał 13,79 proc. Cały proces zajął około 14 godzin GPU na pojedynczym GB300.

Specjalizacja ma jednak swoją cenę. Współczynnik błędów nieznacznie wzrósł dla ogólnej mowy angielskiej, a model medyczny pozostał dokładniejszy w przypadku nazw handlowych leków. Nvidia zaleca przeznaczenie co najmniej 100 prawdziwych, zweryfikowanych nagrań do testów przy budowie własnych wersji.

Ograniczenia i kontekst rynkowy

Model bazowy też ma swoje ograniczenia. Funkcje różnią się w zależności od języka, a opcja odpowiadania na pytania o audio została wytrenowana wyłącznie po angielsku. System obsługuje jedynie nagrania — nie przetwarza dźwięku na żywo. Nvidia zaleca wyrywkową weryfikację nazw, zmian mówców i odpowiedzi.

Warto zauważyć, że Nvidia dopiero we wrześniu zaprezentowała Nemotron 3 Diarization — dedykowany model rozpoznawania mówców, który rozróżniał do ośmiu osób nawet w rozmowach na żywo, ale do samej transkrypcji wymagał osobnego rozwiązania, np. Parakeet. Nemotron 3.5 Transcribe łączy oba zadania i dokłada tłumaczenie oraz rozumienie audio, choć nie obsługuje przetwarzania w czasie rzeczywistym. Z datasetu Granary korzystał już wcześniej multimodalny Nemotron 3 Nano Omni.

Konkurenci obierają inne priorytety. Rodzina Voxtral od Mistrala również łączy transkrypcję z rozumieniem audio, ale przy okazji zapowiedzi Voxtral 3 firma stawia na agentów głosowych działających w czasie rzeczywistym.

Model i zbiór danych są dostępne na Hugging Face, podobnie jak demo do wypróbowania. Do dostrajania Nvidia oferuje przewodniki oraz rozszerzenie pozwalające asystentowi kodowania AI uruchomić cały proces treningowy.

Nemotron 3.5 Transcribe pokazuje kierunek, w którym zmierza otwarte AI audio: zamiast łańcucha wyspecjalizowanych narzędzi — jeden model łączący kilka zadań przy rozsądnych wymaganiach sprzętowych. Otwarte pozostaje pytanie, czy takie podejście wyprze dedykowane rozwiązania komercyjne, czy raczej stanie się fundamentem dla własnych, dostrajanych systemów w firmach i instytucjach.