Google ngrilis V2 saka Lyra, codec open source low-bitrate

Bubar Google diumumake liwat kiriman blog, ngeculake versi kapindho codec audio sampeyan "Lyra-V2", sing nggunakake teknik machine learning kanggo entuk kualitas swara sing paling dhuwur nalika nggunakake saluran komunikasi sing alon banget.

Versi anyar ngenalake transisi menyang arsitektur jaringan saraf anyar, dhukungan kanggo platform tambahan, kontrol bitrate sing luwih apik, perbaikan kinerja, lan kualitas audio sing luwih dhuwur.

Saiki kita ngeculake Lyra V2, kanthi arsitektur anyar sing seneng dhukungan platform sing luwih jembar, nyedhiyakake kapabilitas bitrate sing bisa diukur, kinerja sing luwih apik, lan audio sing luwih dhuwur. Kanthi rilis iki, kita ngarep-arep supaya bisa terus berkembang karo komunitas lan, kanthi kreatifitas kolektif sampeyan, ndeleng aplikasi anyar sing dikembangake lan arah anyar sing muncul.

Babagan Lyra

Babagan kualitas data swara sing dikirim kanthi cepet, Lyra luwih unggul tinimbang codec tradisional sing nggunakake cara pangolahan sinyal digital. Kanggo entuk transmisi swara sing berkualitas ing kahanan jumlah informasi sing diwatesi, saliyane metode kompresi audio lan konversi sinyal sing biasa, Lyra nggunakake model swara adhedhasar sistem pembelajaran mesin sing ngidini sampeyan nggawe maneh informasi sing ilang. adhedhasar karakteristik wicara sing khas.

Codec kalebu encoder lan decoder. Algoritma encoder ngekstrak paramèter data swara saben 20 milidetik, kompres lan transfer menyang panampa liwat jaringan kanthi tingkat dicokot saka 3,2 kbps kanggo 9,2 kbps.

Ing sisih panrima, dekoder nggunakake model generatif kanggo nggawe maneh sinyal wicara asli adhedhasar paramèter audio sing dikirim, kalebu spektrogram kapur logaritma sing nganggep karakteristik energi wicara ing sawetara frekuensi sing beda-beda. .

Apa anyar ing Lyra V2?

Lyra V2 nggunakake model generatif anyar adhedhasar jaringan syaraf SoundStream, sing nduweni syarat komputasi sing kurang, ngidini dekoding wektu nyata sanajan ing sistem daya kurang.

Model sing digunakake kanggo ngasilake swara wis dilatih nggunakake sawetara ewu jam rekaman swara ing luwih saka 90 basa (TensorFlow Lite digunakake kanggo mbukak model kasebut). Kinerja implementasine sing diusulake cukup kanggo encode lan decode swara ing smartphone kanthi rega paling murah.

Saliyane nggunakake model generatif sing beda, versi anyar uga stands metu kanggo Gawan pranala karo RVQ quantifier (Residual Vector Quantizer) ing arsitektur codec, sing ditindakake ing sisih pangirim sadurunge transmisi data, lan ing sisih panrima sawise panrima data.

Quantizer ngowahi paramèter sing disedhiyakake codec menyang set paket, ngodhe informasi sing relatif marang tingkat bit sing dipilih. Kanggo mesthekake tingkat kualitas sing beda-beda, kuantizer diwenehake kanggo telung bitrate (3,2kbps, 6kbps, lan 9,2kbps), sing luwih dhuwur bitrate, kualitas sing luwih apik, nanging syarat bandwidth sing luwih dhuwur.

arsitektur anyar wis suda wektu tundha transmisi sinyal saka 100 milliseconds kanggo 20 milliseconds. Kanggo mbandhingake, codec Opus kanggo WebRTC nuduhake wektu tundha 26,5 ms, 46,5 ms, lan 66,5 ms ing tingkat bit sing diuji. Encoder lan decoder kinerja uga wis tambah akeh: Dibandhingake karo versi sadurungé, ana akselerasi nganti 5 kaping. Contone, ing smartphone Pixel 6 Pro, codec anyar ngodhe lan decode sampel 20ms ing 0,57ms, sing 35 kaping luwih cepet tinimbang sing dibutuhake kanggo streaming wektu nyata.

Saliyane kinerja, kita uga bisa ningkatake kualitas pemugaran swara: miturut skala MUSHRA, kualitas wicara ing tingkat bit 3,2 kbps, 6 kbps lan 9,2 kbps nalika nggunakake codec Lyra V2 cocog karo tingkat bit 10 kbps, 13 kbps lan 14 kbps nalika nggunakake codec Opus.

Pungkasan yen sampeyan kepengin ngerti babagan iki, sampeyan bisa mriksa rincian ing link ing ngisor iki.