Pochi giorni fa il Sviluppatori di Google rilasciati tramite un post sul blog che hanno preso la decisione di rendere Lyra open source. Lyra si basa sull'apprendimento automatico per consentire chiamate vocali di alta qualità in situazioni di larghezza di banda ridotta.
Con cui questo vantaggi e consente ad altri sviluppatori di alimentare le proprie applicazioni comunicazione e sviluppare Lyra in nuove direzioni.
Un punto fermo delle applicazioni multimediali per decenni, i codec hanno consentito alle applicazioni a uso intensivo di larghezza di banda di trasmettere dati in modo efficiente.
Come tale, lo sviluppo di codec, sia per il video che per l'audio, rappresenta una sfida continua- Fornire una qualità sempre superiore, utilizzare meno dati e ridurre al minimo la latenza per la comunicazione in tempo reale.
Sebbene il video possa sembrare consumare molta più larghezza di banda rispetto all'audio, i codec video moderni possono ottenere velocità di trasmissione inferiori rispetto ad alcuni dei codec vocali di alta qualità attualmente in uso.
La combinazione di I codec video e vocali a bassa velocità di trasmissione possono offrire un'esperienza di videochiamata di alta qualità anche su reti con larghezza di banda ridotta. Tuttavia, storicamente, minore è il bit rate di un codec audio, meno intelligibile è il segnale vocale e più robotico è.
Inoltre, mentre alcune persone hanno accesso a una rete a banda larga di alta qualità costante, questo livello di connettività non è universale e anche le persone che vivono in aree ben collegate a volte devono affrontare connessioni di rete scadenti, connessioni di rete scadenti e connettività.
Risolvere questo problema, Google ha creato Lyra, un codec vocale di alta qualità a bassissimo bit rate che rende disponibile la comunicazione vocale anche sulle reti più lente.
Per poterlo fare, Google ha applicato le tecniche di codifica tradizionali traendo vantaggio dai progressi nell'apprendimento automatico con modelli addestrati su migliaia di ore di dati per creare un nuovo metodo di compressione e trasmissione dei segnali vocali.
Il codice di Lyra è scritto in C ++ per la velocità, efficienza e interoperabilità, inoltre utilizza il framework Bazel con Abseil e il framework GoogleTest per i test unitari completi.
L'API di base fornisce un'interfaccia per la codifica e la decodifica a livello di pacchetto e di file. Viene fornita anche la toolchain completa per l'elaborazione del segnale e include vari filtri e trasformazioni.
“La nostra applicazione di esempio si integra con Android NDK per mostrare come integrare il codice nativo di Lyra in un'applicazione Android basata su Java. Forniamo anche i pesi vettoriali e i quantificatori necessari per eseguire Lyra ", ha affermato Google. Questa versione fornisce gli strumenti necessari agli sviluppatori per codificare e decodificare l'audio con Lyra, ottimizzato per la piattaforma ARM Android a 64 bit, con una versione per Linux.
Le caratteristiche vengono decodificate in forma d'onda utilizzando un modello generativo. I modelli generativi sono un tipo speciale di modello di apprendimento automatico adatto per ricreare una forma d'onda audio completa da un numero limitato di funzioni.
L'architettura di Lyra è molto simile ai codec audio tradizionali, che sono stati la spina dorsale della comunicazione Internet per decenni. Sebbene questi codec tradizionali siano basati su tecniche di elaborazione del segnale digitale, Lyra risiede nella capacità del modello generativo di ricostruire un segnale vocale di alta qualità.
Google ha implementato Lyra nella sua app di videochiamata gratuita Duo e ha detto che stava rendendo il codice open source perché pensa che potrebbe essere adatto ad altre app.
Google ritiene che ci siano un certo numero di app per cui Lyra potrebbe essere adatto, che si tratti di archiviare grandi quantità di voce, risparmiare la durata della batteria o alleviare la congestione della rete in situazioni di traffico intenso.
"Non vediamo l'ora di vedere la creatività che caratterizza la comunità open source applicata a Lyra per fornire applicazioni potenti e uniche", ha affermato Google.
fonte: https://opensource.googleblog.com