Google izlaida otro Lyra versiju — tās augstas kvalitātes, zema bitu pārraides ātruma kodeku, kas padara balss saziņu pieejamu pat lēnākajos tīklos.
Nesen Google atklāja, izmantojot emuāra ierakstu, izlaižot audio kodeka otro versiju "Lyra-V2", kas izmanto mašīnmācīšanās metodes, lai sasniegtu augstāko balss kvalitāti, izmantojot ļoti lēnus sakaru kanālus.
Jaunā versija ievieš pāreju uz jaunu neironu tīkla arhitektūru, atbalsts papildu platformām, uzlabota bitu pārraides ātruma kontrole, veiktspējas uzlabojumi un augstāka audio kvalitāte.
Mēs tagad izlaižam Lyra V2 ar jaunu arhitektūru, kas bauda plašāku platformas atbalstu, nodrošina mērogojamu bitu pārraides ātrumu, labāku veiktspēju un augstāku audio kvalitāti. Ar šo laidienu mēs ceram turpināt attīstīties kopā ar kopienu un, pateicoties jūsu kolektīvajam radošumam, redzēsim, kā tiek izstrādātas jaunas lietojumprogrammas un parādās jauni virzieni.
Par Liru
Attiecībā uz zemā ātrumā pārraidīto balss datu kvalitāti, Lyra ir ievērojami pārāka par tradicionālajiem kodekiem kas izmanto ciparu signālu apstrādes metodes. Lai panāktu augstas kvalitātes balss pārraidi ierobežota pārraidītās informācijas daudzuma apstākļos, papildus parastajām audio kompresijas un signāla pārveidošanas metodēm, Lyra izmanto balss modeli, kura pamatā ir mašīnmācīšanās sistēma kas ļauj atjaunot trūkstošo informāciju. pamatojoties uz tipiskām runas īpašībām.
Kodekā ir iekļauts kodētājs un dekodētājs. Kodētāja algoritms izņem balss datu parametrus ik pēc 20 milisekundēm, saspiež tos un pārsūta adresātam tīklā ar bitu pārraides ātrumu no 3,2 kb/s līdz 9,2 kb/s.
Uztvērēja pusē dekodētājs izmanto ģeneratīvu modeli, lai atjaunotu sākotnējo runas signālu, pamatojoties uz pārraidītajiem audio parametriem, tostarp logaritmiskas krīta spektrogrammas, kas ņem vērā runas enerģētiskos raksturlielumus dažādos frekvenču diapazonos un ir sagatavotas, ņemot vērā cilvēka dzirdes uztveri. .
Kas jauns programmā Lyra V2?
Lyra V2 izmanto jaunu ģeneratīvu modeli, kura pamatā ir SoundStream neironu tīkls, kam ir zemas skaitļošanas prasības, kas ļauj veikt reāllaika dekodēšanu pat mazjaudas sistēmās.
Skaņas ģenerēšanai izmantotais modelis ir apmācīts, izmantojot vairākus tūkstošus stundu balss ierakstu vairāk nekā 90 valodās (Modeļa palaišanai tiek izmantots TensorFlow Lite). Piedāvātās ieviešanas veiktspēja ir pietiekama, lai kodētu un atšifrētu balsi zemākā cenu diapazona viedtālruņos.
Papildus cita ģeneratīvā modeļa izmantošanai, jaunā versija izceļas arī ar saišu iekļaušanu ar RVQ kvantoru (Residual Vector Quantizer) kodeku arhitektūrā, kas tiek veikta sūtītāja pusē pirms datu pārraides un saņēmēja pusē pēc datu saņemšanas.
Kvantizers pārveido kodeka sniegtos parametrus pakešu kopās, kodē informāciju attiecībā pret izvēlēto bitu pārraides ātrumu. Lai nodrošinātu dažādus kvalitātes līmeņus, tiek nodrošināti kvanti trīs bitu pārraides ātrumiem (3,2 kb/s, 6 kb/s un 9,2 kb/s), jo lielāks bitu pārraides ātrums, jo labāka kvalitāte, bet augstākas prasības joslas platumam.
jaunā arhitektūra ir samazinājis signāla pārraides aizkavi no 100 milisekundēm līdz 20 milisekundēm. Salīdzinājumam, WebRTC Opus kodeks uzrādīja 26,5 ms, 46,5 ms un 66,5 ms aizkavi ar pārbaudīto bitu pārraides ātrumu. Arī kodētāja un dekodētāja veiktspēja ir ievērojami palielinājusies: Salīdzinot ar iepriekšējo versiju, ir paātrinājums līdz 5 reizēm. Piemēram, viedtālrunī Pixel 6 Pro jaunais kodeks kodē un atkodē 20 ms paraugu 0,57 ms, kas ir 35 reizes ātrāk nekā nepieciešams reāllaika straumēšanai.
Papildus veiktspējai mums izdevās uzlabot arī skaņas atjaunošanas kvalitāti: saskaņā ar MUSHRA skalu runas kvalitāte ar bitu pārraides ātrumu 3,2 kbps, 6 kbps un 9,2 kbps, lietojot Lyra V2 kodeku, atbilst bitu pārraides ātrumam 10 kbps, 13 kbps un 14 kbps, izmantojot Opus kodeku.
Beidzot ja jūs interesē uzzināt vairāk par to, sīkāku informāciju varat pārbaudīt sadaļā šo saiti.