For noen dager siden ble Google-utviklere utgitt via et blogginnlegg som de har tatt beslutningen om å gjøre Lyra åpen kildekode. Lyra er basert på maskinlæring for å muliggjøre talesamtaler av høy kvalitet i situasjoner med lav båndbredde.
Med hvilken dette fordeler og lar andre utviklere mate applikasjonene sine kommunikasjon og utvikle Lyra i nye retninger.
En stift av medieapplikasjoner i flere tiår, kodeker har gjort det mulig for båndbreddeintensive applikasjoner å overføre data effektivt.
Som sådan, kodekutvikling, for både video og lyd, gir en kontinuerlig utfordring- Gi stadig høyere kvalitet, bruk mindre data og minimer ventetid for sanntidskommunikasjon.
Selv om video kan se ut til å forbruke mye mer båndbredde enn lyd, kan moderne videokodeker oppnå lavere bithastigheter enn noen av høykvalitets talekodeker som brukes i dag.
Kombinasjonen av Tale- og videokodeker med lav bithastighet kan gi videosamtaler av høy kvalitet selv på nettverk med lav båndbredde. Historisk sett er jo lavere bithastigheten til en lydkodek, desto mindre forståelig er stemmesignalet og jo mer robot er det.
Selv om noen mennesker har tilgang til et jevnt bredbåndsnett av høy kvalitet, er ikke dette nivået av tilkobling universelt, og selv folk som bor i godt tilkoblede områder, noen ganger møter dårlige nettverkstilkoblinger, dårlige nettverkstilkoblinger og tilkobling.
For å løse dette problemet, Google opprettet Lyra, en høykvalitets talekodek med ultra-lav bithastighet som gjør stemmekommunikasjon tilgjengelig selv på de tregeste nettverkene.
For å gjøre dette, Google brukte tradisjonelle kodeteknikker mens de utnyttet fremskritt i maskinlæring med modeller trent over tusenvis av timer med data for å skape en ny metode for komprimering og overføring av talesignaler.
Lyras kode er skrevet i C ++ for hastighet, effektivitet og interoperabilitet, pluss at den bruker Bazel-rammeverket med Abseil og GoogleTest-rammeverket for fullstendig testing av enheter.
Basic API gir et grensesnitt for koding og dekoding på pakke- og filnivå. Den komplette verktøyet for signalbehandling er også tilgjengelig og inkluderer forskjellige filtre og transformasjoner.
“Eksempelapplikasjonen vår integreres med Android NDK for å vise hvordan du integrerer Lyras opprinnelige kode i et Java-basert Android-program. Vi gir også vektorn og kvantifiseringsmidlene som trengs for å kjøre Lyra, ”sa Google. Denne utgivelsen gir de nødvendige verktøyene for utviklere å kode og dekode lyd med Lyra, optimalisert for 64-biters Android ARM-plattform, med en versjon for Linux.
Funksjonene dekodes til bølgeform ved hjelp av en generativ modell. Generative modeller er en spesiell type maskinlæringsmodell som er godt egnet for å gjenskape en komplett lydbølgeform fra et begrenset antall funksjoner.
Lyras arkitektur ligner veldig på tradisjonelle lydkodeker, som har vært ryggraden i internettkommunikasjon i flere tiår. Mens disse tradisjonelle kodeker er basert på digitale signalbehandlingsteknikker, ligger Lyra i den generative modellens evne til å rekonstruere et talesignal av høy kvalitet.
Google implementerte Lyra i sin gratis videosamtaler-app Duo og sa at den gjorde koden åpen kildekode fordi de tror at den kan være egnet for andre apper.
Google mener det er en rekke apper Lyra kan være egnet for, enten det er for arkivering av store mengder tale, for å spare batterilevetid eller for å lindre nettverksbelastning i travle situasjoner.
"Vi ser frem til å se kreativiteten som kjennetegner open source-fellesskapet brukt på Lyra for å levere kraftige og unike applikasjoner," sa Google.
Fuente: https://opensource.googleblog.com