För några dagar sedan meddelade Googles utvecklare i ett blogginlägg att de har beslutat att använda Lyra med öppen källkod. Lyra använder maskininlärning för att möjliggöra högkvalitativa röstsamtal i situationer med låg bandbredd.
Detta gynnar och gör det möjligt för andra utvecklare att förbättra sina kommunikationsapplikationer och utveckla Lyra i nya riktningar.
En häftklammer av mediatillämpningar i årtionden har codecs gjort det möjligt för bandbreddsintensiva applikationer att överföra data effektivt.
Utvecklingen av codecs, för både video och ljud, utgör därför en ständig utmaning : att tillhandahålla ständigt ökande kvalitet, använda mindre data och minimera latens för realtidskommunikation.
Även om video kan tyckas konsumera mycket mer bandbredd än ljud, kan moderna videokodecer uppnå lägre bithastigheter än några av de högkvalitativa talkoderna som används idag.
Kombinationen av röst- och videokodekar med låg bithastighet kan ge en högkvalitativ videosamtalupplevelse även i nätverk med låg bandbredd. Historiskt sett har dock röstsignalen varit mindre tydlig och mer robotisk ju lägre bithastigheten för en ljudkodek är.
Även om vissa människor har tillgång till ett bredbandsnät av hög kvalitet är denna anslutningsnivå inte universell, och även människor som bor i väl anslutna områden möter ibland dåliga nätverksanslutningar, dåliga nätverksanslutningar och anslutningsmöjligheter.
För att lösa detta problem skapade Google Lyra, en högkvalitativ röstkodek med ultralåg bithastighet som gör röstkommunikation tillgänglig även på de långsammaste nätverken.
För att göra detta tillämpade Google traditionella kodningstekniker samtidigt som de utnyttjade framsteg inom maskininlärning med modeller som tränats över tusentals timmar data för att skapa en ny metod för att komprimera och överföra röstsignaler.
Lyras kod är skriven i C++ för att ge hastighet, effektivitet och interoperabilitet, och den använder även Bazel-ramverket med Abseil och GoogleTest-ramverket för omfattande enhetstestning.
Basic API ger ett gränssnitt för kodning och avkodning på paket- och filnivå. Den kompletta signalbehandlingsverktygskedjan tillhandahålls också och innehåller olika filter och transformationer.
”Vår exempelapplikation integreras med Android NDK för att visa hur man integrerar Lyras inbyggda kod i en Java-baserad Android-applikation. Vi tillhandahåller också de vikter och kvantifierare som krävs för att köra Lyra, säger Google. Denna version ger de nödvändiga verktygen för utvecklare att koda och avkoda ljud med Lyra, optimerad för 64-bitars Android ARM-plattform, med en version för Linux.
Funktioner avkodas till vågform med en generativ modell. Generativa modeller är en speciell typ av maskininlärningsmodell som är väl lämpad för att återskapa en komplett ljudvågform från ett begränsat antal funktioner.
Lyras arkitektur är mycket lik traditionella ljudkodekar , som har varit ryggraden i internetkommunikation i årtionden. Medan dessa traditionella kodekar förlitar sig på digitala signalbehandlingstekniker, ligger Lyras styrka i den generativa modellens förmåga att rekonstruera en högkvalitativ röstsignal.
Google implementerade Lyra i sin gratis videosamtal-app Duo och sa att den gjorde koden öppen källkod eftersom den tror att den kan vara lämplig för andra appar.
Google tror att det finns ett antal appar som Lyra kan vara lämpliga för, oavsett om det är för arkivering av stora mängder röst, för att spara batteritid eller för att lindra nätverksbelastning i upptagna situationer.
"Vi ser fram emot att se den kreativitet som kännetecknar öppen källkodsgrupp som tillämpas på Lyra för att leverera kraftfulla och unika applikationer", säger Google.
Källa: https://opensource.googleblog.com