Google merilis versi kedua Lyra, codec berkualitas tinggi, bitrate rendah yang membuat komunikasi suara tersedia bahkan di jaringan paling lambat.
Baru-baru ini Google diresmikan melalui posting blog, merilis versi kedua codec audio Anda «Lyra-V2», yang menggunakan teknik pembelajaran mesin untuk mencapai kualitas suara tertinggi saat menggunakan saluran komunikasi yang sangat lambat.
Versi baru memperkenalkan transisi ke arsitektur jaringan saraf baru, dukungan untuk platform tambahan, peningkatan kontrol bitrate, peningkatan kinerja, dan kualitas audio yang lebih tinggi.
Kami sekarang merilis Lyra V2, dengan arsitektur baru yang menikmati dukungan platform yang lebih luas, memberikan kemampuan bitrate yang dapat diskalakan, kinerja yang lebih baik, dan audio berkualitas lebih tinggi. Dengan rilis ini, kami berharap dapat terus berkembang bersama komunitas dan, dengan kreativitas kolektif Anda, melihat aplikasi baru sedang dikembangkan dan arah baru muncul.
Tentang Lyra
Mengenai kualitas data suara yang ditransmisikan dengan kecepatan rendah, Lyra secara signifikan lebih unggul daripada codec tradisional yang menggunakan metode pemrosesan sinyal digital. Untuk mencapai transmisi suara berkualitas tinggi dalam kondisi jumlah informasi yang ditransmisikan terbatas, selain metode kompresi audio dan konversi sinyal yang biasa, Lyra menggunakan model suara berdasarkan sistem pembelajaran mesin yang memungkinkan Anda untuk membuat ulang informasi yang hilang. berdasarkan karakteristik bicara yang khas.
Codec termasuk encoder dan decoder. Algoritma encoder mengekstrak parameter data suara setiap 20 milidetik, mengompresnya dan mentransfernya ke penerima melalui jaringan dengan bit rate 3,2 kbps sampai 9,2 kbps.
Di sisi penerima, dekoder menggunakan model generatif untuk menciptakan kembali sinyal suara asli berdasarkan parameter audio yang ditransmisikan, termasuk spektogram kapur logaritmik yang memperhitungkan karakteristik energi ucapan dalam rentang frekuensi yang berbeda, dan disiapkan dengan mempertimbangkan persepsi pendengaran manusia. .
Apa yang baru di Lyra V2?
Lyra V2 menggunakan model generatif baru berdasarkan jaringan saraf SoundStream, yang memiliki persyaratan komputasi rendah, memungkinkan decoding real-time bahkan pada sistem berdaya rendah.
Model yang digunakan untuk menghasilkan suara telah dilatih menggunakan beberapa ribu jam rekaman suara dalam lebih dari 90 bahasa (TensorFlow Lite digunakan untuk menjalankan model). Kinerja implementasi yang diusulkan cukup untuk menyandikan dan mendekode suara pada ponsel cerdas dengan kisaran harga terendah.
Selain menggunakan model generatif yang berbeda, versi baru juga menonjol karena penyertaan tautan dengan pengukur RVQ (Residual Vector Quantizer) dalam arsitektur codec, yang dilakukan di sisi pengirim sebelum transmisi data, dan di sisi penerima setelah penerimaan data.
Quantizer mengubah parameter yang disediakan oleh codec menjadi set paket, mengkodekan informasi relatif terhadap bit rate yang dipilih. Untuk memastikan tingkat kualitas yang berbeda, quantizers disediakan untuk tiga bitrate (3,2kbps, 6kbps, dan 9,2kbps), semakin tinggi bitrate, semakin baik kualitasnya, tetapi semakin tinggi kebutuhan bandwidth.
arsitektur baru telah mengurangi penundaan transmisi sinyal dari 100 milidetik menjadi 20 milidetik. Sebagai perbandingan, codec Opus untuk WebRTC menunjukkan penundaan 26,5 md, 46,5 md, dan 66,5 md pada kecepatan bit yang diuji. Performa encoder dan decoder juga meningkat secara signifikan: Dibandingkan dengan versi sebelumnya, ada akselerasi hingga 5 kali lipat. Misalnya, pada ponsel cerdas Pixel 6 Pro, codec baru mengkodekan dan mendekode sampel 20 md dalam 0,57 md, yang 35 kali lebih cepat daripada yang diperlukan untuk streaming waktu nyata.
Selain kinerja, kami juga berhasil meningkatkan kualitas pemulihan suara: menurut skala MUSHRA, kualitas ucapan pada bit rate 3,2 kbps, 6 kbps dan 9,2 kbps saat menggunakan codec Lyra V2 sesuai dengan bit rate 10 kbps, 13 kbps dan 14 kbps saat menggunakan codec Opus.
Akhirnya jika Anda tertarik untuk mengetahui lebih banyak tentangnya, Anda dapat memeriksa detailnya di link berikut.