Před několika dny vývojáři Googlu v blogovém příspěvku oznámili, že se rozhodli open source platformu Lyra. Lyra využívá strojové učení k umožnění vysoce kvalitních hlasových hovorů v situacích s nízkou šířkou pásma.
To je výhodné a umožňuje ostatním vývojářům vylepšit své komunikační aplikace a rozvíjet Lyru novými směry.
Kodeky, které jsou po desetiletí základem mediálních aplikací, umožnily aplikacím náročným na šířku pásma efektivně přenášet data.
Vývoj kodeků, a to jak pro video, tak pro audio, proto představuje neustálou výzvu : poskytovat stále rostoucí kvalitu, využívat méně dat a minimalizovat latenci pro komunikaci v reálném čase.
I když se může zdát, že video spotřebovává mnohem větší šířku pásma než zvuk, moderní video kodeky mohou dosáhnout nižší přenosové rychlosti než některé dnes používané vysoce kvalitní řečové kodeky.
Kombinace hlasových a video kodeků s nízkou bitovou rychlostí může poskytnout vysoce kvalitní videohovor i v sítích s nízkou šířkou pásma. Historicky však platí, že čím nižší je bitová rychlost zvukového kodeku, tím méně srozumitelný a robotičtější se hlasový signál stává.
I když někteří lidé mají přístup ke konzistentní vysoce kvalitní širokopásmové síti, tato úroveň připojení není univerzální a dokonce i lidé, kteří žijí v dobře propojených oblastech, někdy čelí špatnému síťovému připojení, špatnému síťovému připojení a nedostatečnému připojení.
Aby Google tento problém vyřešil, vytvořil Lyru, vysoce kvalitní hlasový kodek s ultra nízkou bitovou rychlostí , který umožňuje hlasovou komunikaci i v nejpomalejších sítích.
Za tímto účelem Google aplikoval tradiční techniky kódování a zároveň využil pokroky v oblasti strojového učení s modely trénovanými na tisících hodinách dat k vytvoření nové metody komprese a přenosu hlasových signálů.
Kód Lyry je napsán v jazyce C++, aby zajistil rychlost, efektivitu a interoperabilitu, a také využívá framework Bazel s Abseil a framework GoogleTest pro komplexní jednotkové testování.
Základní API poskytuje rozhraní pro kódování a dekódování na úrovni paketů a souborů. K dispozici je také kompletní sada nástrojů pro zpracování signálu, která zahrnuje různé filtry a transformace.
"Naše ukázková aplikace se integruje s Android NDK, abychom ukázali, jak integrovat nativní kód Lyry do Java aplikace pro Android." Poskytujeme také vektorové váhy a kvantifikátory potřebné pro běh Lyry, “uvedl Google. Toto vydání poskytuje vývojářům potřebné nástroje pro kódování a dekódování zvuku pomocí Lyra, optimalizované pro 64bitovou platformu Android ARM, s verzí pro Linux.
Funkce jsou dekódovány do tvaru vlny pomocí generativního modelu. Generativní modely jsou speciální typ modelu strojového učení, který je vhodný pro opětovné vytvoření úplného zvukového průběhu z omezeného počtu funkcí.
Architektura Lyry je velmi podobná tradičním audio kodekům , které jsou po celá desetiletí páteří internetové komunikace. Zatímco tyto tradiční kodeky se spoléhají na techniky digitálního zpracování signálu, silná stránka Lyry spočívá ve schopnosti generativního modelu rekonstruovat vysoce kvalitní hlasový signál.
Google implementoval Lyru do své bezplatné aplikace pro videohovory Duo a uvedl, že vytváří kód jako open source, protože si myslí, že by mohl být vhodný pro jiné aplikace.
Google věří, že existuje řada aplikací, pro které by Lyra mohla být vhodná, ať už jde o archivaci velkého množství hlasu, úsporu výdrže baterie nebo zmírnění přetížení sítě v rušných situacích.
„Těšíme se, až uvidíme kreativitu, která charakterizuje komunitu open source aplikovanou na Lyru při poskytování výkonných a jedinečných aplikací,“ řekl Google.
Zdroj: https://opensource.googleblog.com