Google выпустил вторую версию Lyra — высококачественного кодека с низким битрейтом, который делает голосовую связь доступной даже в самых медленных сетях.
Недавно Google представил через сообщение в блоге, выпуск второй версии вашего аудиокодека «Лира-В2», который использует методы машинного обучения для достижения высочайшего качества передачи голоса при использовании очень медленных каналов связи.
Новая версия вводит переход на новую архитектуру нейронной сети, поддержка дополнительных платформ, улучшенный контроль битрейта, улучшения производительности и более высокое качество звука.
Теперь мы выпускаем Lyra V2 с новой архитектурой, которая имеет более широкую поддержку платформы, обеспечивает возможности масштабирования битрейта, лучшую производительность и более высокое качество звука. В этом выпуске мы надеемся продолжить развиваться вместе с сообществом и, благодаря вашему коллективному творчеству, увидеть, как разрабатываются новые приложения и появляются новые направления.
О Лире
Что касается качества голосовых данных, передаваемых на низкой скорости, Lyra значительно превосходит традиционные кодеки которые используют методы цифровой обработки сигналов. Для достижения качественной передачи голоса в условиях ограниченного объема передаваемой информации, помимо обычных методов сжатия звука и преобразования сигнала, Lyra использует голосовую модель, основанную на системе машинного обучения. что позволяет воссоздать недостающую информацию. на основе типичных речевых характеристик.
Кодек включает в себя кодер и декодер. Алгоритм кодировщика извлекает параметры голосовых данных каждые 20 миллисекунд, сжимает их и передает получателю по сети с битрейтом от 3,2 кбит/с до 9,2 кбит/с.
На стороне приемника декодер использует генеративную модель для воссоздания исходного речевого сигнала на основе передаваемых аудиопараметров, включая логарифмические меловые спектрограммы, учитывающие энергетические характеристики речи в разных частотных диапазонах и подготовленные с учетом слухового восприятия человека. .
Что нового в Лире V2?
Lyra V2 использует новую генеративную модель, основанную на нейронной сети SoundStream., который имеет низкие требования к вычислительным ресурсам, что позволяет выполнять декодирование в реальном времени даже на системах с низким энергопотреблением.
Модель, используемая для генерации звука, была обучена с использованием нескольких тысяч часов голосовых записей на более чем 90 языках (TensorFlow Lite используется для запуска модели.). Производительности предлагаемой реализации достаточно для кодирования и декодирования голоса на смартфонах самого низкого ценового диапазона.
Помимо использования другой генеративной модели, новая версия также выделяется включением ссылок с квантификатором RVQ (Residual Vector Quantizer) в архитектуре кодека, который выполняется на стороне отправителя перед передачей данных и на стороне получателя после приема данных.
Квантизатор преобразует параметры, предоставляемые кодеком, в наборы пакетов, кодируя информацию относительно выбранной скорости передачи данных. Для обеспечения разных уровней качества предусмотрены квантователи для трех битрейтов (3,2 кбит/с, 6 кбит/с и 9,2 кбит/с), чем выше битрейт, тем лучше качество, но выше требования к полосе пропускания.
новая архитектура сократил задержку передачи сигнала со 100 миллисекунд до 20 миллисекунд. Для сравнения, кодек Opus для WebRTC показал задержки 26,5 мс, 46,5 мс и 66,5 мс при протестированных битрейтах. Производительность кодировщика и декодера также значительно возросла.: По сравнению с предыдущей версией есть ускорение до 5 раз. Например, на смартфоне Pixel 6 Pro новый кодек кодирует и декодирует образец длительностью 20 мс за 0,57 мс, что в 35 раз быстрее, чем требуется для потоковой передачи в реальном времени.
Помимо производительности удалось улучшить и качество восстановления звука: по шкале МУШРА качество речи на битрейтах 3,2 кбит/с, 6 кбит/с и 9,2 кбит/с при использовании кодека Lyra V2 соответствует битрейту 10 кбит/с, 13 кбит/с и 14 кбит/с при использовании кодека Opus.
В конце концов если вам интересно узнать об этом больше, вы можете проверить подробности в по следующей ссылке.