Een paar dagen geleden heeft de Google-ontwikkelaars vrijgegeven via een blogpost die ze hebben gemaakt de beslissing om Lyra open source te maken. Lyra is gebaseerd op machine learning om spraakoproepen van hoge kwaliteit mogelijk te maken in situaties met een lage bandbreedte.
Waarmee dit voordelen en stelt andere ontwikkelaars in staat hun applicaties te voeden communicatie en ontwikkel Lyra in nieuwe richtingen.
Codecs zijn al tientallen jaren een hoofdbestanddeel van mediatoepassingen en hebben het mogelijk gemaakt dat bandbreedte-intensieve toepassingen gegevens efficiënt kunnen verzenden.
Als zodanig, codec-ontwikkeling, voor zowel video als audio, vormt een voortdurende uitdaging- Bied een steeds hogere kwaliteit, gebruik minder gegevens en minimaliseer de latentie voor realtime communicatie.
Hoewel video veel meer bandbreedte lijkt te verbruiken dan audio, kunnen moderne videocodecs lagere bitsnelheden behalen dan sommige van de spraakcodecs van hoge kwaliteit die tegenwoordig worden gebruikt.
De combinatie van Spraak- en videocodecs met lage bitsnelheid kunnen videogesprekken van hoge kwaliteit bieden zelfs op netwerken met een lage bandbreedte. Historisch gezien geldt echter dat hoe lager de bitsnelheid van een audiocodec is, hoe minder verstaanbaar het spraaksignaal is en hoe meer robotachtig het is.
Hoewel sommige mensen toegang hebben tot een consistent hoogwaardig breedbandnetwerk, is dit niveau van connectiviteit niet universeel, en zelfs mensen die in goed verbonden gebieden wonen, hebben soms te maken met slechte netwerkverbindingen, slechte netwerkverbindingen en connectiviteit.
Om dit probleem op te lossen, Google heeft Lyra gemaakt, een spraakcodec van hoge kwaliteit met ultralage bitsnelheid waardoor spraakcommunicatie zelfs op de langzaamste netwerken beschikbaar is.
Om dit te doen, Google paste traditionele coderingstechnieken toe en profiteerde van de vooruitgang in machine learning met modellen die gedurende duizenden uren aan gegevens zijn getraind om een nieuwe methode voor compressie en overdracht van spraaksignalen te creëren.
Lyra's code is geschreven in C ++ voor snelheid, efficiëntie en interoperabiliteit, plus het maakt gebruik van het Bazel-framework met Abseil en het GoogleTest-framework voor het testen van volledige eenheden.
De Basic API biedt een interface voor codering en decodering op pakket- en bestandsniveau. De complete toolchain voor signaalverwerking wordt ook meegeleverd en bevat verschillende filters en transformaties.
“Onze voorbeeldapplicatie kan worden geïntegreerd met de Android NDK om te laten zien hoe Lyra's native code in een op Java gebaseerde Android-applicatie kan worden geïntegreerd. We bieden ook de vectorgewichten en kwantoren die nodig zijn om Lyra uit te voeren, ”zei Google. Deze release biedt de nodige tools voor ontwikkelaars om audio te coderen en decoderen met Lyra, geoptimaliseerd voor het 64-bits Android ARM-platform, met een versie voor Linux.
Functies worden gedecodeerd in golfvorm met behulp van een generatief model. Generatieve modellen zijn een speciaal type machine learning-model dat zeer geschikt is voor het opnieuw creëren van een complete audiogolfvorm van een beperkt aantal functies.
De architectuur van Lyra lijkt sterk op traditionele audiocodecs, die al decennialang de ruggengraat van internetcommunicatie vormen. Hoewel deze traditionele codecs zijn gebaseerd op digitale signaalverwerkingstechnieken, berust Lyra op het vermogen van het generatieve model om een spraaksignaal van hoge kwaliteit te reconstrueren.
Google implementeerde Lyra in zijn gratis videogesprek-app Duo en zei dat het de code open source maakte omdat het denkt dat het geschikt is voor andere apps.
Google denkt dat er een aantal apps zijn waarvoor Lyra geschikt zou kunnen zijn, of het nu gaat om het archiveren van grote hoeveelheden spraak, het besparen van de batterijduur of het verminderen van netwerkcongestie in drukke situaties.
"We kijken er naar uit om te zien dat de creativiteit die de open source-gemeenschap kenmerkt, wordt toegepast op Lyra om krachtige en unieke applicaties te leveren", aldus Google.
bron: https://opensource.googleblog.com