DeepL Voice tłumaczy teraz emocje i tempo mówienia

Tłumaczenia głosowe w czasie rzeczywistym od DeepL wchodzą w nowy etap. Firma zaprezentowała model Aure, który do języka docelowego przenosi nie tylko treść wypowiedzi, ale też sposób jej wygłoszenia - barwę, emocje, akcenty i tempo mówienia. To zmiana, która może sprawić, że rozmowy przez translator przestaną brzmieć sztucznie.

Do tej pory DeepL Voice generował mowę w języku docelowym na podstawie statycznej próbki głosu, pobranej na początku konwersacji. Taki mechanizm miał poważne ograniczenie: nie reagował na zmiany nastroju rozmówcy ani na ironię. Nowe podejście rozwiązuje ten problem u źródła.

Jak model Aure analizuje rozmowę na bieżąco

Zamiast opierać się na jednym nagraniu referencyjnym, Aure nieustannie przetwarza zarówno przetłumaczony tekst, jak i oryginalne audio w miarę rozwoju dialogu. Dzięki temu system wychwytuje zmiany w głosie mówiącego, które pojawiają się dopiero w trakcie rozmowy.

Kluczowy element architektury modelu to rozdzielenie trzech warstw wypowiedzi podczas treningu. DeepL osobno traktuje tożsamość głosu (czyli to, kim jest mówiący), melodię mowy (sposób, w jaki wypowiada zdania) oraz samą treść. Każdy z tych komponentów może być następnie niezależnie przeniesiony do języka docelowego.

Uczenie ze wzmocnieniem kontra obce akcenty

DeepL wykorzystuje też uczenie ze wzmocnieniem (reinforcement learning), aby eliminować obce akcenty z generowanej mowy. To szczególnie istotne w tłumaczeniach między językami o różnej fonetyce - bez tego zabiegu syntetyczny głos mógłby brzmieć nienaturalnie lub zdradzać pochodzenie mówiącego.

Gdzie znajdziemy nowy model i jakie języki obsługuje

Aure działa automatycznie w trzech produktach DeepL: Voice for Online Meetings, Voice for In-Person Conversations oraz w API firmy. Użytkownicy nie muszą więc włączać nowego trybu ręcznie - model jest domyślnie aktywny.

Na start dostępnych jest dziewięć języków:

• angielski
• niemiecki
• hiszpański
• francuski
• włoski
• japoński
• portugalski
• koreański

Zakres pokrywa się z językami, które DeepL udostępnił we wrześniu ubiegłego roku, kiedy to firma po raz pierwszy wprowadziła zachowanie cech głosu mówiącego w tłumaczeniach.

Szerszy kontekst: DeepL stawia na "AI-native"

Nowy model to część większej transformacji niemieckiej firmy. W maju DeepL zlikwidował około 250 stanowisk, tłumacząc decyzję restrukturyzacją w kierunku mniejszych zespołów wspieranych przez AI. Firma określiła ten kierunek jako dążenie do stania się organizacją "AI-native".

DeepL nie ogranicza się jednak do wewnętrznych zmian. Przejął zespół stojący za Mixhalo - specjalistą od strumieniowania audio - aby wzmocnić swoje kompetencje w tłumaczeniu mowy w czasie rzeczywistym. To pokazuje, że wyścig o jak najlepsze odwzorowanie ludzkiej wypowiedzi w tłumaczeniu maszynowym nabiera tempa.

Konkurencja też chce wychwycić to, co niewypowiedziane

Podobny cel obrała firma Block, która niedawno pokazała model Dessa. Narzędzie ma wykrywać emocje i sarkazm bezpośrednio z samego audio - bez analizy treści tekstowej. To podejście komplementarne wobec strategii DeepL: obie firmy wychodzą z założenia, że sama treść słów to za mało, by wiernie oddać sens wypowiedzi.

Wspólny mianownik tych projektów jest wyraźny. Tłumaczenie maszynowe przez lata koncentrowało się na poprawności leksykalnej i gramatycznej. Kolejny etap to oddanie tego, co w mowie ludzkiej najtrudniejsze do zapisania - intencji, nastroju i niuansów, które słychać, ale nie zawsze da się przeczytać.

DeepL nie ujawnił jeszcze, kiedy model Aure trafi do kolejnych języków ani czy planuje rozszerzyć go o nowe funkcje. Biorąc jednak pod uwagę tempo zmian w firmie i rosnącą konkurencję, można spodziewać się dalszych aktualizacji w najbliższych miesiącach.