For et par dage siden blev Google-udviklere frigivet via et blogindlæg, som de har taget beslutningen om at gøre Lyra open source. Lyra er baseret på maskinindlæring for at muliggøre taleopkald af høj kvalitet i situationer med lav båndbredde.
Med hvilken dette fordele og giver andre udviklere mulighed for at fodre deres applikationer kommunikation og udvikle Lyra i nye retninger.
En hæfteklammer til medieapplikationer i årtier, codecs har gjort det muligt for båndbreddeintensive applikationer at overføre data effektivt.
Som sådan, codec-udvikling til både video og lyd udgør en løbende udfordring- Giv stadig højere kvalitet, brug mindre data, og minimer ventetid til realtidskommunikation.
Selvom video ser ud til at forbruge meget mere båndbredde end lyd, kan moderne videokodecs opnå lavere bithastigheder end nogle af de højkvalitets talekodecs, der bruges i dag.
Kombinationen af Tale- og videokodecs med lav bithastighed kan give videoopkald af høj kvalitet selv på netværk med lav båndbredde. Historisk set er jo lavere bithastigheden for en lydkodek, jo mindre forståelig talesignalet og jo mere robot er det.
Mens nogle mennesker har adgang til et ensartet bredbåndsnet af høj kvalitet, er dette forbindelsesniveau ikke universelt, og selv mennesker, der bor i godt forbundne områder, står undertiden over for dårlige netværksforbindelser, dårlige netværksforbindelser og tilslutningsmuligheder.
For at løse dette problem, Google oprettede Lyra, en talekodec af høj kvalitet, ultra-lav-bit-hastighed som gør stemmekommunikation tilgængelig selv på de langsomste netværk.
For at gøre dette, Google anvendte traditionelle kodningsteknikker, mens de udnyttede fordelene i maskinindlæring med modeller, der er trænet over tusinder af timers data til at skabe en ny metode til komprimering og transmission af stemmesignaler.
Lyras kode er skrevet i C ++ for hastighed, effektivitet og interoperabilitet, plus det bruger Bazel-rammen med Abseil og GoogleTest-rammen til komplette enhedstests.
Basic API giver en grænseflade til kodning og afkodning på pakke- og filniveau. Den komplette signalbehandlingsværktøjskæde leveres også og inkluderer forskellige filtre og transformationer.
”Vores prøveapplikation integreres med Android NDK for at vise, hvordan man integrerer Lyras oprindelige kode i en Java-baseret Android-applikation. Vi leverer også de vektorvægte og kvantificeringsmidler, der er nødvendige for at køre Lyra, ”sagde Google. Denne udgivelse giver de nødvendige værktøjer til udviklere til at kode og afkode lyd med Lyra, optimeret til 64-bit Android ARM-platformen, med en version til Linux.
Funktioner dekodes til bølgeform ved hjælp af en generativ model. Generative modeller er en speciel type maskinindlæringsmodel, der er velegnet til at genskabe en komplet lydbølgeform fra et begrænset antal funktioner.
Lyras arkitektur ligner meget traditionelle lydkodecs, som har været rygraden i internetkommunikation i årtier. Mens disse traditionelle codecs er baseret på digitale signalbehandlingsteknikker, ligger Lyra i den generative models evne til at rekonstruere et talesignal af høj kvalitet.
Google implementerede Lyra i sin gratis videoopkalds-app Duo og sagde, at den lavede koden til open source, fordi den mener, at den måske er egnet til andre apps.
Google mener, at der er en række apps, som Lyra kan være egnede til, hvad enten det er til arkivering af store mængder stemme, for at spare batterilevetid eller for at lette netværksbelastning i travle situationer.
"Vi ser frem til at se den kreativitet, der karakteriserer open source-samfundet, der anvendes på Lyra til at levere kraftfulde og unikke applikationer," sagde Google.
kilde: https://opensource.googleblog.com