Ilang araw na ang nakalipas, inanunsyo ng mga developer ng Google sa isang blog post na nagpasya silang gawing open source ang Lyra. Gumagamit ang Lyra ng machine learning upang paganahin ang mga de-kalidad na voice call sa mga sitwasyong mababa ang bandwidth.
Nakakatulong ito sa iba pang mga developer na mapahusay ang kanilang mga aplikasyon sa komunikasyon at mapaunlad ang Lyra sa mga bagong direksyon.
Isang sangkap na hilaw ng mga aplikasyon ng media sa mga dekada, pinagana ng mga codec ang mga application na masinsinang bandwidth upang maipadala nang mahusay ang data.
Dahil dito, ang pagbuo ng mga codec, para sa parehong video at audio, ay nagpapakita ng isang patuloy na hamon : ang magbigay ng patuloy na pagtaas ng kalidad, gumamit ng mas kaunting data, at mabawasan ang latency para sa real-time na komunikasyon.
Bagaman maaaring lumitaw ang video na ubusin ang mas maraming bandwidth kaysa sa audio, ang mga modernong video codec ay maaaring makamit ang mas mababang mga rate ng bit kaysa sa ilan sa mga de-kalidad na mga codec ng pagsasalita na ginagamit ngayon.
Ang kombinasyon ng mga low-bitrate na voice at video codec ay maaaring magbigay ng mataas na kalidad na karanasan sa video call kahit na sa mga low-bandwidth network. Gayunpaman, ayon sa kasaysayan, mas mababa ang bitrate ng isang audio codec, mas hindi gaanong mauunawaan at mas robotic ang signal ng boses.
Gayundin, habang ang ilang mga tao ay may access sa isang pare-parehong de-kalidad na broadband network, ang antas ng pagkakakonekta na ito ay hindi pangkalahatan, at kahit na ang mga taong nakatira sa maayos na pagkakakonekta na mga lugar kung minsan ay nahaharap sa mga hindi magandang koneksyon sa network, hindi magandang koneksyon sa network, at pagkakakonekta.
Upang malutas ang problemang ito, nilikha ng Google ang Lyra, isang mataas na kalidad, napakababang bitrate na voice codec na nagbibigay-daan sa komunikasyon gamit ang boses kahit sa pinakamabagal na mga network.
Upang magawa ito, ginamit ng Google ang mga tradisyonal na pamamaraan ng coding habang ginagamit ang mga pagsulong sa machine learning gamit ang mga modelong sinanay sa loob ng libu-libong oras ng data upang lumikha ng isang bagong paraan ng pag-compress at pagpapadala ng mga signal ng boses.
Ang code ni Lyra ay nakasulat sa C++ upang magbigay ng bilis, kahusayan, at interoperability, at ginagamit din nito ang Bazel framework kasama ang Abseil at ang GoogleTest framework para sa komprehensibong unit testing.
Nagbibigay ang Basic API ng isang interface para sa pag-encode at pag-decode sa antas ng packet at file. Ang kumpletong toolchain ng pagpoproseso ng signal ay ibinigay din at may kasamang iba't ibang mga filter at pagbabago.
"Ang aming sample na application ay sumasama sa Android NDK upang maipakita kung paano isama ang katutubong code ni Lyra sa isang application na batay sa Java sa Android. Nagbibigay din kami ng mga vector weights at dami na kinakailangan upang patakbuhin ang Lyra, "sinabi ng Google. Nagbibigay ang paglabas na ito ng mga kinakailangang tool para ma-encode at ma-decode ng audio ang Lyra, na-optimize para sa 64-bit na platform ng Android ARM, na may isang bersyon para sa Linux.
Ang mga tampok ay na-decode sa form ng alon gamit ang isang generative model. Ang mga nakabubuo na modelo ay isang espesyal na uri ng modelo ng pag-aaral ng makina na angkop para sa muling paglikha ng isang kumpletong audio waveform mula sa isang limitadong bilang ng mga pag-andar.
Ang arkitektura ng Lyra ay halos kapareho ng mga tradisyonal na audio codec , na naging gulugod ng komunikasyon sa internet sa loob ng mga dekada. Bagama't ang mga tradisyonal na codec na ito ay umaasa sa mga pamamaraan ng digital signal processing, ang kalakasan ng Lyra ay nasa kakayahan ng generative model na muling buuin ang isang mataas na kalidad na voice signal.
Ipinatupad ng Google ang Lyra sa libreng video calling app na Duo at sinabing ginagawa nitong open source ang code dahil sa palagay nito ay maaaring ito ay angkop para sa iba pang mga app.
Naniniwala ang Google na mayroong isang bilang ng mga app na maaaring maging angkop para sa Lyra, maging para sa pag-archive ng malalaking halaga ng boses, pag-save ng buhay ng baterya, o pagpapagaan ng kasikipan ng network sa mga abalang sitwasyon.
"Inaasahan namin ang pagtingin sa pagkamalikhain na naglalarawan sa bukas na pamayanan ng komunidad na inilapat kay Lyra upang makapaghatid ng malakas at natatanging mga application," sabi ng Google.
Pinagmulan: https://opensource.googleblog.com