Pred niekoľkými dňami vývojári spoločnosti Google v blogovom príspevku oznámili, že sa rozhodli sprístupniť Lyru. Lyra využíva strojové učenie na umožnenie vysokokvalitných hlasových hovorov v situáciách s nízkou šírkou pásma.
To prináša výhody a umožňuje ostatným vývojárom vylepšiť svoje komunikačné aplikácie a rozvíjať Lyru novými smermi.
Kodeky, ktoré sú už desaťročia základom mediálnych aplikácií, umožňujú aplikáciám náročným na šírku pásma efektívny prenos dát.
Vývoj kodekov pre video aj audio preto predstavuje neustálu výzvu : poskytovať stále sa zvyšujúcu kvalitu, spotrebovávať menej dát a minimalizovať latenciu pre komunikáciu v reálnom čase.
Aj keď sa zdá, že video spotrebúva oveľa väčšiu šírku pásma ako zvuk, moderné videokodeky môžu dosiahnuť nižšiu bitovú rýchlosť ako niektoré dnes používané vysokokvalitné hlasové kodeky.
Kombinácia hlasových a video kodekov s nízkou bitovou rýchlosťou dokáže poskytnúť vysokokvalitný zážitok z videohovorov aj v sieťach s nízkou šírkou pásma. Historicky však platí, že čím nižšia je bitová rýchlosť zvukového kodeku, tým menej zrozumiteľný a robotickejší sa hlasový signál stáva.
Aj keď niektorí ľudia majú prístup k stálej vysoko kvalitnej širokopásmovej sieti, táto úroveň pripojenia nie je univerzálna a dokonca aj ľudia, ktorí žijú v dobre prepojených oblastiach, niekedy čelia zlému sieťovému pripojeniu, slabému sieťovému pripojeniu a nedostatočnej pripojiteľnosti.
Na vyriešenie tohto problému spoločnosť Google vytvorila Lyru, vysokokvalitný hlasový kodek s ultranízkym bitovým tokom , ktorý umožňuje hlasovú komunikáciu aj v najpomalších sieťach.
Na tento účel spoločnosť Google použila tradičné techniky kódovania a zároveň využila pokroky v strojovom učení s modelmi trénovanými na tisíckach hodín dát, aby vytvorila novú metódu kompresie a prenosu hlasových signálov.
Lyrin kód je napísaný v jazyku C++, aby poskytoval rýchlosť, efektivitu a interoperabilitu, a tiež používa framework Bazel s Abseil a framework GoogleTest pre komplexné jednotkové testovanie.
Základné API poskytuje rozhranie na kódovanie a dekódovanie na úrovni paketov a súborov. Poskytuje sa tiež kompletný reťazec nástrojov na spracovanie signálu, ktorý obsahuje rôzne filtre a transformácie.
„Naša vzorová aplikácia sa integruje do systému Android NDK, aby ukázala, ako integrovať natívny kód Lyry do aplikácie pre Android založenej na prostredí Java. Poskytujeme tiež vektorové váhy a kvantifikátory potrebné na spustenie Lyry, “uviedol Google. Toto vydanie poskytuje vývojárom potrebné nástroje na kódovanie a dekódovanie zvuku pomocou Lyra, optimalizovanej pre 64-bitovú platformu Android ARM, s verziou pre Linux.
Funkcie sú dekódované do tvaru vlny pomocou generatívneho modelu. Generatívne modely sú špeciálny typ modelu strojového učenia vhodný na opätovné vytvorenie úplného zvukového priebehu z obmedzeného počtu funkcií.
Architektúra Lyry je veľmi podobná tradičným audio kodekom , ktoré boli po desaťročia chrbticou internetovej komunikácie. Zatiaľ čo tieto tradičné kodeky sa spoliehajú na techniky digitálneho spracovania signálu, silnou stránkou Lyry je schopnosť generatívneho modelu rekonštruovať vysokokvalitný hlasový signál.
Google implementoval Lyru do svojej bezplatnej aplikácie pre videohovory Duo a uviedol, že vytvára kód ako open source, pretože si myslí, že by mohol byť vhodný pre iné aplikácie.
Google je presvedčený, že existuje množstvo aplikácií, pre ktoré by mohla byť Lyra vhodná, či už na archiváciu veľkého množstva hlasu, úsporu životnosti batérie alebo uľahčenie preťaženia siete v rušných situáciách.
„Tešíme sa, až uvidíme kreativitu, ktorá charakterizuje komunitu otvorených zdrojov, ktorá sa v spoločnosti Lyra snaží poskytovať výkonné a jedinečné aplikácie,“ uviedol Google.
Zdroj: https://opensource.googleblog.com