Inilabas ng Google ang pangalawang bersyon ng Lyra, ang mataas na kalidad at mababang bitrate na codec nito na ginagawang available ang voice communication kahit sa pinakamabagal na network.
Kamakailan lamang Inihayag ng Google sa pamamagitan ng isang post sa blog, ilalabas ang pangalawang bersyon ng iyong audio codec "Lyra-V2", na gumagamit ng mga diskarte sa pag-aaral ng makina upang makamit ang pinakamataas na kalidad ng boses kapag gumagamit ng napakabagal na mga channel ng komunikasyon.
Ang bagong bersyon nagpapakilala ng isang paglipat sa isang bagong arkitektura ng neural network, suporta para sa mga karagdagang platform, pinahusay na kontrol ng bitrate, mga pagpapahusay sa pagganap, at mas mataas na kalidad ng audio.
Ilalabas na namin ngayon ang Lyra V2, na may bagong arkitektura na tinatangkilik ang mas malawak na suporta sa platform, nagbibigay ng mga nasusukat na kakayahan sa bitrate, mas mahusay na pagganap, at mas mataas na kalidad ng audio. Sa paglabas na ito, inaasahan namin ang patuloy na pag-unlad kasama ang komunidad at, sa iyong sama-samang pagkamalikhain, makita ang mga bagong application na binuo at mga bagong direksyon na umuusbong.
Tungkol kay Lyra
Tungkol sa kalidad ng data ng boses na ipinadala sa mababang bilis, Si Lyra ay higit na nakahihigit sa mga tradisyonal na codec na gumagamit ng mga digital signal processing method. Upang makamit ang mataas na kalidad na pagpapadala ng boses sa ilalim ng mga kondisyon ng limitadong halaga ng ipinadalang impormasyon, bilang karagdagan sa karaniwang audio compression at mga paraan ng conversion ng signal, Gumagamit si Lyra ng voice model batay sa isang machine learning system na nagpapahintulot sa iyo na muling likhain ang nawawalang impormasyon. batay sa mga tipikal na katangian ng pagsasalita.
Kasama sa codec ang isang encoder at isang decoder. Ang algorithm ng encoder kinukuha ang mga parameter ng data ng boses bawat 20 millisecond, i-compress ang mga ito at inililipat ang mga ito sa tatanggap sa network na may bit rate na 3,2 kbps hanggang 9,2 kbps.
Sa panig ng receiver, ang decoder ay gumagamit ng generative na modelo upang muling likhain ang orihinal na signal ng pagsasalita batay sa ipinadalang mga parameter ng audio, kabilang ang mga logarithmic chalk spectrogram na isinasaalang-alang ang mga katangian ng enerhiya ng pagsasalita sa iba't ibang saklaw ng frequency. at inihanda nang nasa isip ang auditory perception ng tao. .
Ano ang bago sa Lyra V2?
Gumagamit ang Lyra V2 ng bagong generative na modelo batay sa SoundStream neural network, na may mababang computational na kinakailangan, na nagpapahintulot sa real-time na pag-decode kahit sa mga low-power system.
Ang modelo na ginamit upang makabuo ng tunog ay sinanay gamit ang ilang libong oras ng pag-record ng boses sa higit sa 90 mga wika (Ginagamit ang TensorFlow Lite upang patakbuhin ang modelo). Ang pagganap ng iminungkahing pagpapatupad ay sapat upang i-encode at i-decode ang boses sa mga smartphone na may pinakamababang hanay ng presyo.
Bilang karagdagan sa paggamit ng ibang generative na modelo, ang bagong bersyon ay namumukod-tangi din para sa pagsasama ng mga link sa RVQ quantifier (Residual Vector Quantizer) sa arkitektura ng codec, na ginagawa sa gilid ng nagpadala bago ang paghahatid ng data, at sa gilid ng receiver pagkatapos ng pagtanggap ng data.
Kino-convert ng quantizer ang mga parameter na ibinigay ng codec sa mga hanay ng mga packet, na nag-encode ng impormasyong nauugnay sa napiling bit rate. Upang matiyak ang iba't ibang antas ng kalidad, ibinibigay ang mga quantizer para sa tatlong bitrate (3,2kbps, 6kbps, at 9,2kbps), mas mataas ang bitrate, mas mahusay ang kalidad, ngunit mas mataas ang mga kinakailangan sa bandwidth. band.
ang bagong arkitektura ay binawasan ang mga pagkaantala sa paghahatid ng signal mula 100 millisecond hanggang 20 millisecond. Para sa paghahambing, ang Opus codec para sa WebRTC ay nagpakita ng mga pagkaantala ng 26,5 ms, 46,5 ms, at 66,5 ms sa mga bit rate na nasubok. Ang pagganap ng encoder at decoder ay tumaas din nang malaki: Kung ikukumpara sa nakaraang bersyon, mayroong isang acceleration ng hanggang 5 beses. Halimbawa, sa Pixel 6 Pro smartphone, ang bagong codec ay nag-e-encode at nagde-decode ng 20ms sample sa 0,57ms, na 35 beses na mas mabilis kaysa sa kinakailangan para sa real-time na streaming.
Bilang karagdagan sa pagganap, pinahusay din namin ang kalidad ng pagpapanumbalik ng tunog: ayon sa sukat ng MUSHRA, ang kalidad ng pagsasalita sa mga bit rate na 3,2 kbps, 6 kbps at 9,2 kbps kapag ginagamit ang Lyra V2 codec ay tumutugma sa mga bit rate na 10 kbps, 13 kbps at 14 kbps kapag gumagamit ng Opus codec.
Sa wakas kung interesado kang malaman ang tungkol dito, maaari mong suriin ang mga detalye sa ang sumusunod na link.