Pred pár dňami Vydané vývojári spoločnosti Google prostredníctvom blogového príspevku, ktorý si vzali rozhodnutie urobiť z Lyry open source. Lyra je založená na strojovom učení, ktoré umožňuje vysoko kvalitné hlasové hovory v situáciách s malou šírkou pásma.
S ktorými toto výhody a umožňuje ostatným vývojárom napájať ich aplikácie komunikáciu a rozvíjať Lyru novými smermi.
Kodeky, ktoré sú už desaťročia základom mediálnych aplikácií, umožňujú aplikáciám náročným na šírku pásma efektívny prenos dát.
Ako taký, vývoj kodeku pre video aj zvuk predstavuje neustálu výzvu- Poskytujte stále vyššiu kvalitu, používajte menej údajov a minimalizujte latenciu pri komunikácii v reálnom čase.
Aj keď sa zdá, že video spotrebúva oveľa väčšiu šírku pásma ako zvuk, moderné videokodeky môžu dosiahnuť nižšiu bitovú rýchlosť ako niektoré dnes používané vysokokvalitné hlasové kodeky.
Kombinácia Hlasové a video kodeky s nízkou bitovou rýchlosťou môžu priniesť zážitok z videohovoru vo vysokej kvalite dokonca aj v sieťach s nízkou šírkou pásma. Historicky však platí, že čím nižšia je bitová rýchlosť zvukového kodeku, tým menej je zrozumiteľný hlasový signál a tým je robotickejší.
Aj keď niektorí ľudia majú prístup k stálej vysoko kvalitnej širokopásmovej sieti, táto úroveň pripojenia nie je univerzálna a dokonca aj ľudia, ktorí žijú v dobre prepojených oblastiach, niekedy čelia zlému sieťovému pripojeniu, slabému sieťovému pripojeniu a nedostatočnej pripojiteľnosti.
Ak chcete vyriešiť tento problém, Google vytvoril Lyra, vysoko kvalitný rečový kodek s veľmi nízkou bitovou rýchlosťou čo umožňuje hlasovú komunikáciu aj v najpomalších sieťach.
Ak to chcete urobiť, Google použil tradičné techniky kódovania a pritom využil výhody pokroku v strojovom učení s modelmi trénovanými cez tisíce hodín dát na vytvorenie novej metódy kompresie a prenosu hlasových signálov.
Lyrain kód je napísaný v C ++ pre rýchlosť, efektívnosť a interoperabilita, navyše využíva rámec Bazel s programom Abseil a rámec GoogleTest na úplné testovanie jednotiek.
Základné API poskytuje rozhranie na kódovanie a dekódovanie na úrovni paketov a súborov. Poskytuje sa tiež kompletný reťazec nástrojov na spracovanie signálu, ktorý obsahuje rôzne filtre a transformácie.
„Naša vzorová aplikácia sa integruje do systému Android NDK, aby ukázala, ako integrovať natívny kód Lyry do aplikácie pre Android založenej na prostredí Java. Poskytujeme tiež vektorové váhy a kvantifikátory potrebné na spustenie Lyry, “uviedol Google. Toto vydanie poskytuje vývojárom potrebné nástroje na kódovanie a dekódovanie zvuku pomocou Lyra, optimalizovanej pre 64-bitovú platformu Android ARM, s verziou pre Linux.
Funkcie sú dekódované do tvaru vlny pomocou generatívneho modelu. Generatívne modely sú špeciálny typ modelu strojového učenia vhodný na opätovné vytvorenie úplného zvukového priebehu z obmedzeného počtu funkcií.
Lyra je architektúra veľmi podobná tradičným zvukovým kodekom, ktoré sú chrbticou internetovej komunikácie po celé desaťročia. Zatiaľ čo tieto tradičné kodeky sú založené na technikách digitálneho spracovania signálu, Lyra spočíva v schopnosti generatívneho modelu rekonštruovať vysokokvalitný hovorový signál.
Google implementoval Lyru do svojej bezplatnej aplikácie pre videohovory Duo a uviedol, že vytvára kód ako open source, pretože si myslí, že by mohol byť vhodný pre iné aplikácie.
Google je presvedčený, že existuje množstvo aplikácií, pre ktoré by mohla byť Lyra vhodná, či už na archiváciu veľkého množstva hlasu, úsporu životnosti batérie alebo uľahčenie preťaženia siete v rušných situáciách.
„Tešíme sa, až uvidíme kreativitu, ktorá charakterizuje komunitu otvorených zdrojov, ktorá sa v spoločnosti Lyra snaží poskytovať výkonné a jedinečné aplikácie,“ uviedol Google.
Fuente: https://opensource.googleblog.com