Google je objavio drugu verziju Lyre, svog visokokvalitetnog kodeka niske brzine prijenosa koji čini glasovnu komunikaciju dostupnom čak i na najsporijim mrežama.
Nedavno Google je predstavljen putem objave na blogu, izdajući drugu verziju vašeg audio kodeka «Lyra-V2», koji koristi tehnike mašinskog učenja za postizanje najvišeg kvaliteta glasa kada se koriste veoma spori komunikacijski kanali.
Nova verzija uvodi prelazak na novu arhitekturu neuronske mreže, podrška za dodatne platforme, poboljšana kontrola bitrate-a, poboljšanja performansi i viši kvalitet zvuka.
Sada objavljujemo Lyra V2, s novom arhitekturom koja uživa širu podršku platforme, pruža skalabilne mogućnosti brzine prijenosa, bolje performanse i kvalitetniji zvuk. Sa ovim izdanjem, radujemo se nastavku razvoja sa zajednicom i, uz vašu kolektivnu kreativnost, vidjeti nove aplikacije koje se razvijaju i nove smjerove koji se pojavljuju.
O Lyri
Što se tiče kvaliteta govornih podataka koji se prenose malom brzinom, Lyra je značajno superiornija od tradicionalnih kodeka koji koriste metode digitalne obrade signala. Da bi se postigao kvalitetan prijenos glasa u uvjetima ograničene količine prenesenih informacija, pored uobičajenih metoda kompresije zvuka i konverzije signala, Lyra koristi glasovni model zasnovan na sistemu mašinskog učenja koji vam omogućava da ponovo kreirate informacije koje nedostaju. zasnovano na tipičnim karakteristikama govora.
Kodek uključuje koder i dekoder. Algoritam kodera izdvaja parametre govornih podataka svakih 20 milisekundi, kompresuje ih i prenosi primatelju preko mreže sa brzinom prijenosa od 3,2 kbps do 9,2 kbps.
Na strani prijemnika, dekoder koristi generativni model za rekreiranje originalnog govornog signala na osnovu prenošenih audio parametara, uključujući logaritamske spektrograme krede koji uzimaju u obzir energetske karakteristike govora u različitim frekventnim opsezima. a pripremljeni su imajući na umu ljudsku slušnu percepciju. .
Šta je novo u Lyri V2?
Lyra V2 koristi novi generativni model baziran na SoundStream neuronskoj mreži, koji ima niske računske zahtjeve, omogućavajući dekodiranje u realnom vremenu čak i na sistemima male snage.
Model koji se koristi za generiranje zvuka je obučen korištenjem nekoliko hiljada sati glasovnih snimaka na više od 90 jezika (TensorFlow Lite se koristi za pokretanje modela). Performanse predložene implementacije dovoljne su za kodiranje i dekodiranje glasa na pametnim telefonima najnižeg cjenovnog ranga.
Osim korištenja drugačijeg generativnog modela, nova verzija se takođe ističe po uključivanju veza sa RVQ kvantifikatorom (Residual Vector Quantizer) u arhitekturi kodeka, koji se izvodi na strani pošiljaoca prije prijenosa podataka, a na strani prijemnika nakon prijema podataka.
Kvantizer pretvara parametre koje daje kodek u skupove paketa, kodirajući informacije u odnosu na odabranu brzinu prijenosa. Da bi se osigurali različiti nivoi kvaliteta, kvantizatori su obezbeđeni za tri brzine prenosa (3,2kbps, 6kbps i 9,2kbps), što je veća brzina u bitovima, bolji je kvalitet, ali su zahtevi za širinu pojasa veći.
nova arhitektura ima smanjena kašnjenja u prijenosu signala sa 100 milisekundi na 20 milisekundi. Poređenja radi, Opus kodek za WebRTC pokazao je kašnjenje od 26,5 ms, 46,5 ms i 66,5 ms pri testiranim brzinama prijenosa. Performanse kodera i dekodera su također značajno povećane: U poređenju sa prethodnom verzijom, postoji ubrzanje do 5 puta. Na primjer, na Pixel 6 Pro pametnom telefonu, novi kodek kodira i dekodira uzorak od 20 ms za 0,57 ms, što je 35 puta brže nego što je potrebno za striming u realnom vremenu.
Osim performansi, uspjeli smo poboljšati i kvalitet restauracije zvuka: prema MUSHRA skali, kvalitet govora pri brzinama prijenosa od 3,2 kbps, 6 kbps i 9,2 kbps pri korištenju kodeka Lyra V2 odgovara brzini prijenosa od 10 kbps, 13 kbps i 14 kbps kada koristite Opus kodek.
Konačno ako ste zainteresirani da saznate više o tome, detalje možete provjeriti u sljedeći link.