Google пусна втората версия на Lyra, нейния висококачествен кодек с нисък битрейт, който прави гласовата комуникация достъпна дори в най-бавните мрежи.
наскоро Google представи чрез публикация в блог, пускайки втората версия на вашия аудио кодек «Лира-V2», който използва техники за машинно обучение, за да постигне най-високо качество на гласа, когато използва много бавни комуникационни канали.
Новата версия въвежда преход към нова архитектура на невронни мрежи, поддръжка за допълнителни платформи, подобрен битрейт контрол, подобрения на производителността и по-високо качество на звука.
Сега пускаме Lyra V2 с нова архитектура, която се радва на по-широка поддръжка на платформата, предоставя мащабируеми възможности за битрейт, по-добра производителност и по-високо качество на звука. С тази версия очакваме с нетърпение да продължим да се развиваме заедно с общността и с вашата колективна креативност да видим разработването на нови приложения и появата на нови насоки.
Относно Лира
По отношение на качеството на гласовите данни, предавани при ниска скорост, Lyra значително превъзхожда традиционните кодеци които използват методи за цифрова обработка на сигнала. За да се постигне висококачествено предаване на глас при условия на ограничено количество предавана информация, в допълнение към обичайните методи за аудио компресия и преобразуване на сигнала, Lyra използва гласов модел, базиран на система за машинно обучение което ви позволява да пресъздадете липсващата информация. въз основа на типични речеви характеристики.
Кодекът включва енкодер и декодер. Алгоритъмът на енкодера извлича параметрите на гласовите данни на всеки 20 милисекунди, компресира ги и ги прехвърля на получателя по мрежата с побитова скорост от 3,2 kbps до 9,2 kbps.
От страната на приемника декодерът използва генеративен модел за пресъздаване на оригиналния говорен сигнал въз основа на предавани аудио параметри, включително логаритмични спектрограми с тебешир, които отчитат енергийните характеристики на говора в различни честотни диапазони и са подготвени с оглед на човешкото слухово възприятие .
Какво е новото в Lyra V2?
Lyra V2 използва нов генеративен модел, базиран на невронната мрежа SoundStream, който има ниски изчислителни изисквания, което позволява декодиране в реално време дори на системи с ниска мощност.
Моделът, използван за генериране на звука, е обучен с помощта на няколко хиляди часа гласови записи на повече от 90 езика (TensorFlow Lite се използва за изпълнение на модела). Производителността на предложената реализация е достатъчна за кодиране и декодиране на глас на смартфони от най-ниския ценови диапазон.
В допълнение към използването на различен генеративен модел, новата версия също се отличава с включването на връзки с квантора RVQ (Residual Vector Quantizer) в архитектурата на кодека, който се изпълнява от страната на подателя преди предаване на данни и от страната на получателя след получаване на данни.
Квантизаторът преобразува параметрите, предоставени от кодека, в набори от пакети, кодиращи информацията спрямо избрания битрейт. За да се осигурят различни нива на качество, се предоставят квантователи за три битрейта (3,2 kbps, 6 kbps и 9,2 kbps), колкото по-висок е битрейтът, толкова по-добро е качеството, но толкова по-високи са изискванията за честотна лента.
новата архитектура е намалил забавянето на предаването на сигнала от 100 милисекунди на 20 милисекунди. За сравнение, кодекът Opus за WebRTC показа закъснения от 26,5 ms, 46,5 ms и 66,5 ms при тестваните битрейтове. Производителността на енкодера и декодера също се увеличи значително: В сравнение с предишната версия, има ускорение до 5 пъти. Например, на смартфона Pixel 6 Pro, новият кодек кодира и декодира 20ms проба за 0,57ms, което е 35 пъти по-бързо, отколкото е необходимо за стрийминг в реално време.
В допълнение към производителността успяхме да подобрим и качеството на възстановяване на звука: според скалата MUSHRA, качеството на речта при побитови скорости от 3,2 kbps, 6 kbps и 9,2 kbps при използване на кодека Lyra V2 съответства на побитови скорости от 10 kbps, 13 kbps и 14 kbps при използване на кодека Opus.
Накрая ако се интересувате да научите повече за това, можете да проверите подробностите в следната връзка.