Google выпустил исходный код Lyra, аудиокодека для Android 

Несколько дней назад Разработчики Google выпустили через сообщение в блоге, которое они взяли решение сделать Lyra открытым. Lyra основана на машинном обучении для обеспечения высококачественных голосовых вызовов в условиях низкой пропускной способности.

С чем это преимущества и позволяет другим разработчикам кормить свои приложения общение и развитие Lyra в новых направлениях.

Кодеки, являющиеся основным продуктом мультимедийных приложений на протяжении десятилетий, позволяют приложениям с интенсивной полосой пропускания эффективно передавать данные.

Как таковой, разработка кодеков для видео и аудио представляет собой постоянную проблему- Обеспечьте еще более высокое качество, используйте меньше данных и минимизируйте задержки для связи в реальном времени.

Хотя может показаться, что видео потребляет гораздо больше полосы пропускания, чем аудио, современные видеокодеки могут достигать более низкой скорости передачи данных, чем некоторые из используемых сегодня высококачественных речевых кодеков.

Сочетание Голосовые и видеокодеки с низкой скоростью передачи данных могут обеспечить высокое качество видеозвонков даже в сетях с низкой пропускной способностью. Однако исторически сложилось так, что чем ниже битрейт аудиокодека, тем менее разборчивым голосовой сигнал и тем более роботизированным он является.

Кроме того, хотя некоторые люди имеют доступ к стабильной высококачественной широкополосной сети, этот уровень подключения не является универсальным, и даже люди, живущие в районах с хорошим подключением, иногда сталкиваются с плохими сетевыми подключениями, плохими сетевыми подключениями и недостатками подключения.

Для решения этой проблемы, Google создал Lyra, высококачественный речевой кодек со сверхнизкой скоростью передачи данных. что делает голосовую связь доступной даже в самых медленных сетях.

Для этого Google применил традиционные методы кодирования, используя достижения в машинном обучении с моделями, обученными на основе тысяч часов данных, чтобы создать новый метод сжатия и передачи голосовых сигналов.

Код Lyra написан на C ++ для скорости, эффективность и совместимость, плюс он использует структуру Bazel с Abseil и структуру GoogleTest для полных модульных тестов.

Базовый API предоставляет интерфейс для кодирования и декодирования на уровне пакетов и файлов. Также предоставляется полный набор инструментов для обработки сигналов, который включает в себя различные фильтры и преобразования.

«Наш пример приложения интегрируется с Android NDK, чтобы показать, как интегрировать собственный код Lyra в приложение Android на основе Java. Мы также предоставляем векторные веса и квантификаторы, необходимые для работы Lyra », - сказал Google. Этот выпуск предоставляет разработчикам необходимые инструменты для кодирования и декодирования звука с помощью Lyra, оптимизированного для 64-разрядной платформы Android ARM, с версией для Linux.

Особенности декодируются в волновую форму с использованием генеративной модели. Генеративные модели - это особый тип модели машинного обучения, хорошо подходящий для воссоздания полной звуковой волны из ограниченного числа функций.

Архитектура Lyra очень похожа на традиционные аудиокодеки., которые на протяжении десятилетий были основой Интернет-коммуникаций. В то время как эти традиционные кодеки основаны на методах цифровой обработки сигналов, Lyra основывается на способности генеративной модели восстанавливать высококачественный речевой сигнал.

Google реализовал Lyra в своем бесплатном приложении для видеозвонков Duo и заявил, что делает код с открытым исходным кодом, поскольку считает, что он может подойти для других приложений.

Google считает, что существует ряд приложений, для которых Lyra может подойти, будь то архивирование большого количества голосовых данных, экономия заряда батареи или уменьшение перегрузки сети в загруженных ситуациях.

«Мы с нетерпением ждем возможности увидеть креативность, присущую сообществу разработчиков ПО с открытым исходным кодом, в применении к Lyra для создания мощных и уникальных приложений», - сказал Google.

источник: https://opensource.googleblog.com


Будьте первым, чтобы комментировать

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован. Обязательные для заполнения поля помечены *

*

*

  1. Ответственный за данные: Мигель Анхель Гатон
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.