Před několika dny Vydáni vývojáři Google prostřednictvím příspěvku na blogu, který si vzali rozhodnutí učinit Lyru otevřeným zdrojovým kódem. Lyra je založena na strojovém učení, které umožňuje vysoce kvalitní hlasové hovory v situacích s malou šířkou pásma.
Se kterým to výhody a umožňuje dalším vývojářům napájet jejich aplikace komunikaci a rozvíjet Lyru v nových směrech.
Kodeky, které jsou po desetiletí základem mediálních aplikací, umožnily aplikacím náročným na šířku pásma efektivně přenášet data.
Jako takový, vývoj kodeku pro video i zvuk představuje trvalou výzvu- Poskytujte stále vyšší kvalitu, používejte méně dat a minimalizujte latenci pro komunikaci v reálném čase.
I když se může zdát, že video spotřebovává mnohem větší šířku pásma než zvuk, moderní video kodeky mohou dosáhnout nižší přenosové rychlosti než některé dnes používané vysoce kvalitní řečové kodeky.
Kombinace Hlasové a video kodeky s nízkou přenosovou rychlostí mohou přinést vysoce kvalitní videohovory dokonce i v sítích s malou šířkou pásma. Historicky však platí, že čím nižší je bitový tok zvukového kodeku, tím je hlasový signál méně srozumitelný a robotický.
I když někteří lidé mají přístup ke konzistentní vysoce kvalitní širokopásmové síti, tato úroveň připojení není univerzální a dokonce i lidé, kteří žijí v dobře propojených oblastech, někdy čelí špatnému síťovému připojení, špatnému síťovému připojení a nedostatečnému připojení.
Chcete-li tento problém vyřešit, Google vytvořil Lyru, vysoce kvalitní řečový kodek s velmi nízkou bitovou rychlostí díky čemuž je hlasová komunikace dostupná i v nejpomalejších sítích.
Chcete-li to provést, Google použil tradiční techniky kódování, přičemž využil výhody ve strojovém učení s modely trénovanými přes tisíce hodin dat k vytvoření nové metody komprese a přenosu hlasových signálů.
Lyryin kód je napsán v C ++ pro rychlost, efektivita a interoperabilita, navíc využívá rámec Bazel s Abseilem a rámec GoogleTest pro plné testování jednotek.
Základní API poskytuje rozhraní pro kódování a dekódování na úrovni paketů a souborů. K dispozici je také kompletní sada nástrojů pro zpracování signálu, která zahrnuje různé filtry a transformace.
"Naše ukázková aplikace se integruje s Android NDK, abychom ukázali, jak integrovat nativní kód Lyry do Java aplikace pro Android." Poskytujeme také vektorové váhy a kvantifikátory potřebné pro běh Lyry, “uvedl Google. Toto vydání poskytuje vývojářům potřebné nástroje pro kódování a dekódování zvuku pomocí Lyra, optimalizované pro 64bitovou platformu Android ARM, s verzí pro Linux.
Funkce jsou dekódovány do tvaru vlny pomocí generativního modelu. Generativní modely jsou speciální typ modelu strojového učení, který je vhodný pro opětovné vytvoření úplného zvukového průběhu z omezeného počtu funkcí.
Lyra je architektura velmi podobná tradičním zvukovým kodekům, které jsou páteří internetové komunikace po celá desetiletí. Zatímco tyto tradiční kodeky jsou založeny na technikách zpracování digitálního signálu, Lyra spočívá ve schopnosti generativního modelu rekonstruovat vysoce kvalitní řečový signál.
Google implementoval Lyru do své bezplatné aplikace pro videohovory Duo a uvedl, že vytváří kód jako open source, protože si myslí, že by mohl být vhodný pro jiné aplikace.
Google věří, že existuje řada aplikací, pro které by Lyra mohla být vhodná, ať už jde o archivaci velkého množství hlasu, úsporu výdrže baterie nebo zmírnění přetížení sítě v rušných situacích.
„Těšíme se, až uvidíme kreativitu, která charakterizuje komunitu open source aplikovanou na Lyru při poskytování výkonných a jedinečných aplikací,“ řekl Google.
zdroj: https://opensource.googleblog.com