Beberapa hari yang lalu Pengembang Google dirilis melalui postingan blog yang mereka ambil keputusan untuk menjadikan Lyra open source. Lyra didasarkan pada pembelajaran mesin untuk memungkinkan panggilan suara berkualitas tinggi dalam situasi bandwidth rendah.
Dengan ini manfaat dan memungkinkan pengembang lain untuk memberi makan aplikasi mereka komunikasi dan mengembangkan Lyra ke arah baru.
Aplikasi utama media selama beberapa dekade, codec telah memungkinkan aplikasi padat bandwidth untuk mengirimkan data secara efisien.
Dengan demikian, pengembangan codec, untuk video dan audio, menghadirkan tantangan yang berkelanjutan- Memberikan kualitas yang semakin tinggi, menggunakan lebih sedikit data, dan meminimalkan latensi untuk komunikasi waktu nyata.
Meskipun video mungkin tampak menghabiskan lebih banyak bandwidth daripada audio, codec video modern dapat mencapai kecepatan bit yang lebih rendah daripada beberapa codec ucapan berkualitas tinggi yang digunakan saat ini.
Kombinasi dari Codec suara dan video dengan kecepatan bit rendah dapat menghadirkan pengalaman panggilan video berkualitas tinggi bahkan di jaringan bandwidth rendah. Namun, secara historis, semakin rendah bit rate dari sebuah codec audio, semakin kurang jelas sinyal suaranya dan semakin robotik itu.
Selain itu, sementara beberapa orang memiliki akses ke jaringan broadband berkualitas tinggi yang konsisten, tingkat konektivitas ini tidak universal, dan bahkan orang yang tinggal di area yang terhubung dengan baik terkadang menghadapi koneksi jaringan yang buruk, koneksi jaringan yang buruk, dan konektivitas yang kurang.
Untuk mengatasi masalah ini, Google menciptakan Lyra, codec ucapan berkualitas tinggi dengan kecepatan bit sangat rendah yang membuat komunikasi suara tersedia bahkan di jaringan yang paling lambat.
Untuk melakukan ini, Google menerapkan teknik pengkodean tradisional sambil memanfaatkan kemajuan dalam pembelajaran mesin dengan model yang dilatih selama ribuan jam data untuk membuat metode baru kompresi dan transmisi sinyal suara.
Kode Lyra ditulis dalam C ++ untuk kecepatan, efisiensi dan interoperabilitas, plus menggunakan kerangka kerja Bazel dengan Abseil dan kerangka kerja GoogleTest untuk pengujian unit lengkap.
Basic API menyediakan antarmuka untuk encoding dan decoding di tingkat paket dan file. Rantai alat pemrosesan sinyal lengkap juga disediakan dan mencakup berbagai filter dan transformasi.
“Aplikasi sampel kami terintegrasi dengan Android NDK untuk menunjukkan cara mengintegrasikan kode native Lyra ke dalam aplikasi Android berbasis Java. Kami juga menyediakan bobot vektor dan pembilang yang diperlukan untuk menjalankan Lyra, "kata Google. Rilis ini menyediakan alat yang diperlukan developer untuk mengenkode dan mendekode audio dengan Lyra, yang dioptimalkan untuk platform ARM Android 64-bit, dengan versi untuk Linux.
Fitur didekodekan menjadi bentuk gelombang menggunakan model generatif. Model generatif adalah jenis model pembelajaran mesin khusus yang cocok untuk membuat ulang bentuk gelombang audio lengkap dari sejumlah fungsi.
Arsitektur Lyra sangat mirip dengan codec audio tradisional, yang telah menjadi tulang punggung komunikasi Internet selama beberapa dekade. Sementara codec tradisional ini didasarkan pada teknik pemrosesan sinyal digital, Lyra berada dalam kemampuan model generatif untuk merekonstruksi sinyal ucapan berkualitas tinggi.
Google menerapkan Lyra dalam aplikasi panggilan video gratisnya, Duo, dan mengatakan itu membuat kode open source karena menurutnya mungkin cocok untuk aplikasi lain.
Google yakin ada sejumlah aplikasi yang mungkin cocok untuk Lyra, baik untuk mengarsipkan suara dalam jumlah besar, menghemat masa pakai baterai, atau mengurangi kemacetan jaringan dalam situasi sibuk.
"Kami berharap dapat melihat kreativitas yang menjadi ciri komunitas open source yang diterapkan pada Lyra untuk menghadirkan aplikasi yang kuat dan unik," kata Google.
sumber: https://opensource.googleblog.com