Google andis välja Lyra teise versiooni, selle kõrgekvaliteedilise madala bitikiirusega koodeki, mis teeb kõneside kättesaadavaks ka kõige aeglasemates võrkudes.
Hiljuti Google avalikustas ajaveebipostituse kaudu, andes välja teie helikodeki teise versiooni "Lyra-V2", mis kasutab masinõppe tehnikaid kõrgeima häälekvaliteedi saavutamiseks väga aeglaste sidekanalite kasutamisel.
Uus versioon tutvustab üleminekut uuele närvivõrgu arhitektuurile, tugi täiendavatele platvormidele, täiustatud bitikiiruse juhtimine, jõudluse täiustused ja parem helikvaliteet.
Anname nüüd välja Lyra V2, millel on uus arhitektuur, millel on laiem platvormi tugi, mis pakub skaleeritavat bitikiirust, paremat jõudlust ja kvaliteetsemat heli. Selle väljaandega ootame edasist arengut koos kogukonnaga ning teie kollektiivse loovuse abil näeme uute rakenduste väljatöötamist ja uute suundade tekkimist.
Lyra kohta
Mis puudutab madalal kiirusel edastatavate kõneandmete kvaliteeti, Lyra on traditsioonilistest koodekitest oluliselt parem mis kasutavad digitaalseid signaalitöötlusmeetodeid. Kvaliteetse kõneedastuse saavutamiseks piiratud koguse edastatava teabe tingimustes, lisaks tavapärastele heli tihendamise ja signaali teisendamise meetoditele, Lyra kasutab masinõppesüsteemil põhinevat häälemudelit mis võimaldab teil puuduvat teavet uuesti luua. tüüpiliste kõneomaduste põhjal.
Kodek sisaldab kodeerijat ja dekoodrit. Kodeerija algoritm ekstraheerib kõneandmete parameetrid iga 20 millisekundi järel, tihendab need ja edastab adressaadile üle võrgu bitikiirusega 3,2 kbps kuni 9,2 kbps.
Vastuvõtja poolel kasutab dekooder generatiivset mudelit algse kõnesignaali taasloomiseks edastatud heliparameetrite põhjal, sealhulgas logaritmilisi kriidispektrogramme, mis võtavad arvesse kõne energiaomadusi erinevates sagedusvahemikes. .
Mis on Lyra V2-s uut?
Lyra V2 kasutab uut generatiivset mudelit, mis põhineb SoundStreami närvivõrgul, millel on madalad arvutusnõuded, võimaldades reaalajas dekodeerimist isegi vähese energiatarbega süsteemides.
Heli genereerimiseks kasutatud mudelit on treenitud mitme tuhande tunni pikkuse helisalvestiste abil enam kui 90 keeles (Mudeli käitamiseks kasutatakse TensorFlow Lite'i). Kavandatava teostuse jõudlus on piisav hääle kodeerimiseks ja dekodeerimiseks madalaima hinnaklassi nutitelefonides.
Lisaks erineva generatiivse mudeli kasutamisele uus versioon paistab silma ka linkide lisamise poolest RVQ kvantoriga (Residual Vector Quantizer) kodeki arhitektuuris, mis sooritatakse saatja poolel enne andmeedastust ja vastuvõtja poolel peale andmete vastuvõtmist.
Kvantiseerija teisendab koodeki pakutavad parameetrid pakettide komplektideks, kodeerides teabe valitud bitikiiruse suhtes. Erinevate kvaliteeditasemete tagamiseks on kvantisaatorid ette nähtud kolme bitikiiruse jaoks (3,2 kbit/s, 6 kbit/s ja 9,2 kbit/s), mida suurem on bitikiirus, seda parem on kvaliteet, kuid seda kõrgemad on ribalaiuse nõuded.
uus arhitektuur on vähendanud signaali edastamise viivitusi 100 millisekundilt 20 millisekundile. Võrdluseks, WebRTC jaoks mõeldud Opuse koodek näitas testitud bitikiiruste korral viivitusi 26,5 ms, 46,5 ms ja 66,5 ms. Kodeerija ja dekoodri jõudlus on samuti oluliselt suurenenud: Võrreldes eelmise versiooniga on kiirendus kuni 5 korda. Näiteks Pixel 6 Pro nutitelefonis kodeerib ja dekodeerib uus koodek 20 ms proovi 0,57 ms jooksul, mis on 35 korda kiirem, kui on vaja reaalajas voogesituseks.
Lisaks jõudlusele õnnestus meil parandada ka heli taastamise kvaliteeti: MUSHRA skaala järgi vastab kõnekvaliteet bitikiirustel 3,2 kbps, 6 kbps ja 9,2 kbps Lyra V2 koodeki kasutamisel bitikiirusele 10 kbps, 13 kbps ja 14 kbps Opuse koodeki kasutamisel.
Lõpuks kui olete huvitatud sellest rohkem teada saama, saate üksikasju vaadata järgmine link.