Кілька днів тому Розробники Google випустили через допис у блозі, який вони взяли рішення зробити Lyra відкритим. Lyra заснована на машинному навчанні, щоб забезпечити високоякісні голосові дзвінки в ситуаціях з низькою пропускною здатністю.
З яким це вигоди та дозволяє іншим розробникам подавати свої програми спілкуватися та розвивати Ліру в нових напрямках.
Основними медіа-додатками протягом десятиліть кодеки дозволяють додаткам, що вимагають пропускної здатності, ефективно передавати дані.
Як такий, Розробка кодеків як для відео, так і для аудіо представляє постійну проблему- Забезпечуйте все вищу якість, використовуйте менше даних та мінімізуйте затримки для спілкування в режимі реального часу.
Хоча відео може споживати набагато більше смуги пропускання, ніж аудіо, сучасні відеокодеки можуть досягти нижчих бітових швидкостей, ніж деякі високоякісні мовні кодеки, що використовуються сьогодні.
Поєднання Голосові та відеокодеки з низькою швидкістю передачі даних можуть забезпечити високу якість відеодзвінків навіть у мережах з низькою пропускною здатністю. Однак історично склалося так, що чим нижча швидкість передачі даних аудіокодека, тим менш зрозумілим є голосовий сигнал і тим більш роботизованим він є.
Крім того, хоча деякі люди мають доступ до стабільної високоякісної широкосмугової мережі, цей рівень зв’язку не є універсальним, і навіть люди, які живуть у добре зв’язаних районах, іноді стикаються з поганими мережевими зв’язками, поганими мережевими зв’язками та недостатністю зв’язку.
Щоб вирішити цю проблему, Google створив Lyra, високоякісний мовний кодек із наднизькою швидкістю передачі даних що робить голосовий зв'язок доступним навіть у найповільніших мережах.
Для цього потрібно Google застосував традиційні методи кодування, користуючись перевагами в машинному навчанні з моделями, навченими за тисячі годин даних для створення нового методу стиснення та передачі голосових сигналів.
Код Lyra написаний на C ++ для швидкості, ефективність та сумісність, а також використовує фреймворк Bazel з Abseil та фреймворк GoogleTest для повних модульних тестів.
Basic API забезпечує інтерфейс для кодування та декодування на рівні пакетів і файлів. Також надається повний набір інструментів для обробки сигналів, який включає різні фільтри та перетворення.
«Наш зразок програми інтегрується з Android NDK, щоб показати, як інтегрувати власний код Lyra в додаток Android на основі Java. Ми також надаємо векторні ваги та квантори, необхідні для запуску Lyra », - сказав Google. Цей випуск надає розробникам необхідні інструменти для кодування та декодування звуку за допомогою Lyra, оптимізованої для 64-розрядної платформи Android ARM, з версією для Linux.
Характеристики декодуються у форму хвилі за допомогою генеративної моделі. Генеративні моделі - це особливий тип моделі машинного навчання, який добре підходить для відтворення повного звукового сигналу з обмеженої кількості функцій.
Архітектура Lyra дуже схожа на традиційні аудіокодеки, які протягом десятиліть становлять кістяк інтернет-спілкування. Хоча ці традиційні кодеки засновані на технологіях цифрової обробки сигналів, Lyra перебуває у здатності генеративної моделі реконструювати високоякісний мовний сигнал.
Google впровадив Lyra у свій безкоштовний додаток для відеодзвінків Duo і заявив, що робить код відкритим, оскільки вважає, що він може бути придатним для інших програм.
Google вважає, що існує безліч програм, для яких Lyra може бути придатною, будь то для архівування великої кількості голосу, економії заряду акумулятора або зменшення перевантаження мережі в зайнятих ситуаціях.
"Ми з нетерпінням чекаємо побачити творчі здібності, що характеризують спільноту з відкритим кодом, застосовувану до Lyra для надання потужних та унікальних програм", - сказав Google.
Фуенте: https://opensource.googleblog.com