Google lëshoi versionin e dytë të Lyra, kodekun e tij me cilësi të lartë dhe me shpejtësi të ulët që e bën komunikimin zanor të disponueshëm edhe në rrjetet më të ngadalta.
kohët e fundit Google u zbulua përmes një postimi në blog, duke lëshuar versionin e dytë të kodekut tuaj audio "Lyra-V2", i cili përdor teknika të mësimit të makinerive për të arritur cilësinë më të lartë të zërit kur përdor kanale komunikimi shumë të ngadalta.
Versioni i ri prezanton një kalim në një arkitekturë të re të rrjetit nervor, mbështetje për platforma shtesë, kontroll i përmirësuar i shpejtësisë së biteve, përmirësime të performancës dhe cilësi më të lartë audio.
Tani po lëshojmë Lyra V2, me një arkitekturë të re që gëzon mbështetje më të gjerë të platformës, ofron aftësi të shkallëzueshme të shpejtësisë së bitit, performancë më të mirë dhe audio me cilësi më të lartë. Me këtë version, ne mezi presim të vazhdojmë të evoluojmë me komunitetin dhe, me krijimtarinë tuaj kolektive, të shohim aplikacione të reja duke u zhvilluar dhe drejtime të reja që shfaqen.
Rreth Lyra
Për sa i përket cilësisë së të dhënave zanore të transmetuara me shpejtësi të ulët, Lyra është dukshëm më e lartë se kodekët tradicionalë që përdorin metoda dixhitale të përpunimit të sinjalit. Për të arritur transmetim zëri me cilësi të lartë në kushte të një sasie të kufizuar informacioni të transmetuar, përveç metodave të zakonshme të kompresimit të audios dhe konvertimit të sinjalit, Lyra përdor një model zëri të bazuar në një sistem të mësimit të makinerive e cila ju lejon të rikrijoni informacionin që mungon. bazuar në karakteristikat tipike të të folurit.
Kodeku përfshin një kodues dhe një dekoder. Algoritmi i koduesit nxjerr parametrat e të dhënave të zërit çdo 20 milisekonda, i ngjesh dhe i transferon te marrësi përmes rrjetit me një shpejtësi prej 3,2 kbps në 9,2 kbps.
Nga ana e marrësit, dekoderi përdor një model gjenerues për të rikrijuar sinjalin origjinal të të folurit bazuar në parametrat audio të transmetuar, duke përfshirë spektrogramet logaritmike të shkumësave që marrin parasysh karakteristikat energjetike të të folurit në intervale të ndryshme frekuencash. dhe përgatiten duke pasur parasysh perceptimin dëgjimor të njeriut .
Çfarë ka të re në Lyra V2?
Lyra V2 përdor një model të ri gjenerues të bazuar në rrjetin nervor SoundStream, i cili ka kërkesa të ulëta llogaritëse, duke lejuar dekodimin në kohë reale edhe në sistemet me fuqi të ulët.
Modeli i përdorur për të gjeneruar tingullin është trajnuar duke përdorur disa mijëra orë regjistrime zanore në më shumë se 90 gjuhë (TensorFlow Lite përdoret për të ekzekutuar modelin). Performanca e zbatimit të propozuar është e mjaftueshme për të koduar dhe deshifruar zërin në telefonat inteligjentë të gamës më të ulët të çmimeve.
Përveç përdorimit të një modeli gjenerues të ndryshëm, versioni i ri shquhet edhe për përfshirjen e lidhjeve me sasiorin RVQ (Residual Vector Quantizer) në arkitekturën e kodekut, i cili kryhet në anën e dërguesit para transmetimit të të dhënave dhe në anën e marrësit pas marrjes së të dhënave.
Kuantizuesi i konverton parametrat e ofruar nga kodiku në grupe paketash, duke koduar informacionin në lidhje me shpejtësinë e zgjedhur të bitit. Për të siguruar nivele të ndryshme të cilësisë, kuantizuesit ofrohen për tre shpejtësi bit (3,2 kbps, 6 kbps dhe 9,2 kbps), sa më i lartë të jetë shpejtësia e biteve, aq më i mirë është cilësia, por sa më i lartë të jetë kërkesa për gjerësi brezi.
arkitektura e re ka reduktuar vonesat e transmetimit të sinjalit nga 100 milisekonda në 20 milisekonda. Për krahasim, kodiku Opus për WebRTC tregoi vonesa prej 26,5 ms, 46,5 ms dhe 66,5 ms në shpejtësitë e bitit të testuar. Performanca e koduesit dhe dekoderit është rritur gjithashtu ndjeshëm: Krahasuar me versionin e mëparshëm, ka një përshpejtim deri në 5 herë. Për shembull, në telefonin inteligjent Pixel 6 Pro, kodiku i ri kodon dhe deshifron një mostër 20 ms në 0,57 ms, që është 35 herë më shpejt se sa nevojitet për transmetim në kohë reale.
Përveç performancës, ne arritëm të përmirësojmë edhe cilësinë e restaurimit të zërit: sipas shkallës MUSHRA, cilësia e të folurit me shpejtësi bit 3,2 kbps, 6 kbps dhe 9,2 kbps kur përdorni kodekun Lyra V2 korrespondon me shpejtësi bit prej 10 kbps, 13 kbps dhe 14 kbps kur përdorni kodekun Opus.
Më në fund nëse jeni të interesuar të dini më shumë për të, ju mund të kontrolloni detajet në lidhja e mëposhtme.