Google发布了Android音频编解码器Lyra的源代码 

几天前 Google开发人员发布 通过他们采取的博客文章 决定将Lyra开源。 Lyra基于机器学习,可在低带宽情况下实现高质量的语音通话。

与此一起 好处,并允许其他开发人员提供他们的应用程序 交流并向新方向发展Lyra。

数十年来,编解码器是媒体应用程序的主要部分,它使带宽密集型应用程序能够有效地传输数据。

因此, 视频和音频的编解码器开发带来了持续的挑战-提供更高的质量,使用更少的数据,并最小化实时通信的延迟。

尽管视频似乎比音频消耗更多的带宽,但是现代视频编解码器可以实现比当今使用的某些高质量语音编解码器更低的比特率。

的结合 低比特率的语音和视频编解码器可以带来高质量的视频通话体验 即使在低带宽网络上也是如此。 但是,从历史上看,音频编解码器的比特率越低,语音信号的清晰度就越差,并且它的自动化程度也越高。

同样,尽管有些人可以使用一致的高质量宽带网络,但是这种连接级别并不普遍,甚至居住在连接良好的地区的人有时也面临着网络连接不良,网络连接不良和连通性不足的问题。

为了解决这个问题, Google创建了Lyra,这是一种高质量,超低比特率的语音编解码器 即使在最慢的网络上也可以进行语音通信。

为此, Google在利用先进技术的同时运用了传统编码技术 在机器学习中,我们使用经过数千小时数据训练的模型来创建一种压缩和传输语音信号的新方法。

Lyra的代码是用C ++编写的,以提高速度, 效率和互操作性,再加上将Bazel框架与Abseil和GoogleTest框架结合使用,以进行完整的单元测试。

基本API提供了用于在数据包和文件级别进行编码和解码的接口。 还提供了完整的信号处理工具链,其中包括各种滤波器和变换。

“我们的示例应用程序与Android NDK集成在一起,以展示如何将Lyra的本机代码集成到基于Java的Android应用程序中。 我们还提供了运行Lyra所需的向量权重和量词,” Google说。 此版本为开发人员提供了必要的工具,以使用Lyra进行音频编码和解码,Lyra已针对64位Android ARM平台进行了优化,并具有适用于Linux的版本。

使用生成模型将特征解码为波形。 生成模型是一种特殊类型的机器学习模型,非常适合通过有限的功能重新创建完整的音频波形。

Lyra的体系结构与传统音频编解码器非常相似,数十年来一直是Internet通信的骨干。 这些传统的编解码器基于数字信号处理技术,而Lyra则依赖于生成模型重构高质量语音信号的能力。

谷歌在其免费的视频通话应用程序Duo中实现了Lyra,并表示正在使代码开源,因为它认为它可能适用于其他应用程序。

谷歌认为,Lyra有许多应用程序可能适用,无论是用于存档大量语音,节省电池寿命,还是在忙碌的情况下缓解网络拥塞。

谷歌说:“我们期待看到代表Lyra的开源社区所具有的创造力,以提供强大而独特的应用程序。”

数据来源: https://opensource.googleblog.com


发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责数据:MiguelÁngelGatón
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。