Muutama päivä sitten Google-kehittäjät julkaisivat ottamansa blogiviestin kautta päätös tehdä Lyra avoimesta lähdekoodista. Lyra perustuu koneoppimiseen korkealaatuisten äänipuheluiden mahdollistamiseksi matalan kaistanleveyden tilanteissa.
Minkä kanssa tämä etuja ja antaa muiden kehittäjien syöttää sovelluksiaan ja kehittää Lyraa uusiin suuntiin.
Vuosikymmenien ajan mediasovellusten pääkoodekit ovat mahdollistaneet kaistanleveyttä vaativien sovellusten tiedonsiirron tehokkaasti.
Sellaisenaan, koodekin kehittäminen, sekä videoille että äänille, on jatkuva haaste- Tarjoa entistä korkeampaa laatua, käytä vähemmän dataa ja minimoi viive reaaliaikaisessa viestinnässä.
Vaikka video saattaa näyttää kuluttavan paljon enemmän kaistanleveyttä kuin ääni, moderneilla videokoodekeilla voidaan saavuttaa pienempi bittinopeus kuin joillakin nykyisin käytössä olevista korkealaatuisista puhekoodekeista.
Yhdistelmä Alhaisen bittinopeuden ääni- ja videokoodekit voivat tuoda korkealaatuisia videopuhelu kokemuksia jopa matalan kaistanleveyden verkoissa. Kuitenkin historiallisesti, mitä matalampi audiokoodekin bittinopeus, sitä vähemmän ymmärrettävä äänisignaali on ja sitä robottisempi se on.
Vaikka joillakin ihmisillä on pääsy tasalaatuiseen korkealaatuiseen laajakaistaverkkoon, tämä yhteyksien taso ei ole yleinen, ja jopa hyvin liitetyillä alueilla asuvilla ihmisillä on joskus huonoja verkkoyhteyksiä, heikkoja verkkoyhteyksiä ja liitettävyyttä.
Voit ratkaista tämän ongelman Google loi Lyran, laadukkaan, erittäin matalan bittinopeuden puhekoodekin mikä tekee puheviestinnästä saatavana myös hitaimmissa verkoissa.
Voit tehdä tämän Google sovelsi perinteisiä koodaustekniikoita hyödyntäen kehitystä koneoppimisessa malleilla, jotka on koulutettu tuhansien tuntien ajan uuden menetelmän luomiseksi äänisignaalien pakkaamiseksi ja siirtämiseksi.
Lyran koodi kirjoitetaan nopeudella C ++, tehokkuuden ja yhteentoimivuuden lisäksi se käyttää Bazel-kehystä Abseilin kanssa ja GoogleTest-kehystä täyden yksikön testaamiseen.
Basic API tarjoaa käyttöliittymän koodaamiseen ja dekoodaamiseen paketti- ja tiedostotasolla. Mukana on myös täydellinen signaalinkäsittelytyökaluketju, joka sisältää erilaisia suodattimia ja muunnoksia.
”Esimerkkisovelluksemme integroituu Android NDK: n kanssa näyttääkseen kuinka integroida Lyran alkuperäinen koodi Java-pohjaiseen Android-sovellukseen. Tarjoamme myös vektoripainot ja kvantifikaattorit, joita tarvitaan Lyran ajamiseksi ", Google sanoi. Tämä julkaisu tarjoaa kehittäjille tarvittavat työkalut äänen koodaamiseen ja dekoodaamiseen 64-bittiselle Android ARM -alustalle optimoidulla Lyralla Linux-versiolla.
Ominaisuudet dekoodataan aaltomuotoon generatiivisen mallin avulla. Generatiiviset mallit ovat erityinen koneoppimismalli, joka soveltuu täydellisen ääniaaltomuodon luomiseen rajoitetusta määrästä toimintoja.
Lyran arkkitehtuuri on hyvin samanlainen kuin perinteiset audiokoodekit, jotka ovat olleet Internet-viestinnän selkäranka vuosikymmenien ajan. Vaikka nämä perinteiset koodekit perustuvat digitaalisiin signaalinkäsittelytekniikoihin, Lyra asuu generatiivisen mallin kyvyssä rekonstruoida korkealaatuinen puhesignaali.
Google otti Lyran käyttöön ilmaisessa videopuhelusovelluksessa Duo ja sanoi, että se tekee koodista avoimen lähdekoodin, koska se uskoo sen soveltuvan muille sovelluksille.
Google uskoo, että on olemassa useita sovelluksia, joihin Lyra voi sopia, olipa kyseessä suurten äänimäärien arkistointi, akun säästäminen tai verkon ruuhkautumisen vähentäminen kiireisissä tilanteissa.
"Odotamme innolla luovuutta, joka kuvaa avoimen lähdekoodin yhteisöä, jota sovelletaan Lyraan toimittamaan tehokkaita ja ainutlaatuisia sovelluksia", sanoi Google.
lähde: https://opensource.googleblog.com