Google a publié le code source de Lyra, un codec audio Android 

Il y a quelques jours, le Les développeurs Google ont publié via un article de blog qu'ils ont pris la décision de rendre Lyra open source. Lyra est basé sur l'apprentissage automatique pour permettre des appels vocaux de haute qualité dans des situations à faible bande passante.

Avec lequel cela avantages et permet à d'autres développeurs d'alimenter leurs applications communication et développer Lyra dans de nouvelles directions.

Bases des applications multimédias depuis des décennies, les codecs ont permis aux applications gourmandes en bande passante de transmettre efficacement les données.

En tant que tel, le développement de codec, à la fois pour la vidéo et l'audio, présente un défi permanent- Fournissez une qualité toujours plus élevée, utilisez moins de données et minimisez la latence pour une communication en temps réel.

Bien que la vidéo puisse sembler consommer beaucoup plus de bande passante que l'audio, les codecs vidéo modernes peuvent atteindre des débits binaires inférieurs à certains des codecs vocaux de haute qualité utilisés aujourd'hui.

La combinaison de Les codecs vocaux et vidéo à faible débit peuvent apporter une expérience d'appel vidéo de haute qualité même sur les réseaux à faible bande passante. Cependant, historiquement, plus le débit binaire d'un codec audio est bas, moins le signal vocal est intelligible et plus il est robotique.

En outre, bien que certaines personnes aient accès à un réseau large bande cohérent de haute qualité, ce niveau de connectivité n'est pas universel, et même les personnes qui vivent dans des zones bien connectées sont parfois confrontées à de mauvaises connexions réseau, de mauvaises connexions réseau et une connectivité déficiente.

Pour résoudre ce problème, Google a créé Lyra, un codec vocal de haute qualité à très faible débit binaire ce qui rend la communication vocale disponible même sur les réseaux les plus lents.

Pour faire ceci, Google a appliqué des techniques de codage traditionnelles tout en tirant parti des avancées en machine learning avec des modèles formés sur des milliers d'heures de données pour créer une nouvelle méthode de compression et de transmission de signaux vocaux.

Le code de Lyra est écrit en C ++ pour la vitesse, efficacité et interopérabilité, en plus il utilise le framework Bazel avec Abseil et le framework GoogleTest pour des tests unitaires complets.

L'API de base fournit une interface pour l'encodage et le décodage au niveau des paquets et des fichiers. La chaîne d'outils complète de traitement du signal est également fournie et comprend divers filtres et transformations.

«Notre exemple d'application s'intègre à Android NDK pour montrer comment intégrer le code natif de Lyra dans une application Android basée sur Java. Nous fournissons également les poids vectoriels et les quantificateurs nécessaires pour exécuter Lyra », a déclaré Google. Cette version fournit les outils nécessaires aux développeurs pour encoder et décoder l'audio avec Lyra, optimisé pour la plate-forme Android ARM 64 bits, avec une version pour Linux.

Les caractéristiques sont décodées sous forme d'onde à l'aide d'un modèle génératif. Les modèles génératifs sont un type spécial de modèle d'apprentissage automatique bien adapté pour recréer une forme d'onde audio complète à partir d'un nombre limité de fonctions.

L'architecture de Lyra est très similaire aux codecs audio traditionnels, qui constituent l'épine dorsale de la communication Internet depuis des décennies. Alors que ces codecs traditionnels sont basés sur des techniques de traitement numérique du signal, Lyra réside dans la capacité du modèle génératif à reconstruire un signal vocal de haute qualité.

Google a implémenté Lyra dans son application gratuite d'appel vidéo Duo et a déclaré qu'il rendait le code open source car il pense qu'il pourrait convenir à d'autres applications.

Google pense qu'il existe un certain nombre d'applications pour lesquelles Lyra pourrait convenir, que ce soit pour archiver de grandes quantités de voix, économiser la batterie ou réduire la congestion du réseau dans des situations de pointe.

"Nous sommes impatients de voir la créativité qui caractérise la communauté open source appliquée à Lyra pour fournir des applications puissantes et uniques", a déclaré Google.

source: https://opensource.googleblog.com