Beberapa hari yang lalu Pembangun Google dilancarkan melalui catatan blog yang telah mereka ambil keputusan untuk menjadikan Lyra sebagai sumber terbuka. Lyra berdasarkan pembelajaran mesin untuk membolehkan panggilan suara berkualiti tinggi dalam keadaan lebar jalur rendah.
Dengan ini memberi faedah dan membolehkan pembangun lain memberi makan aplikasi mereka komunikasi dan mengembangkan Lyra ke arah baru.
Rangkaian aplikasi media selama beberapa dekad, codec telah membolehkan aplikasi intensif lebar jalur untuk menghantar data dengan cekap.
Seperti, pengembangan codec, untuk video dan audio, memberikan cabaran yang berterusan- Menyediakan kualiti yang lebih tinggi, menggunakan lebih sedikit data, dan meminimumkan latensi untuk komunikasi masa nyata.
Walaupun video nampaknya menggunakan lebar jalur lebih banyak daripada audio, codec video moden dapat mencapai kadar bit lebih rendah daripada beberapa codec pertuturan berkualiti tinggi yang digunakan hari ini.
Gabungan Kodek suara dan video dengan kadar bit rendah dapat memberikan pengalaman panggilan video berkualiti tinggi walaupun pada rangkaian lebar jalur rendah. Walau bagaimanapun, dari segi sejarah, semakin rendah kadar bit codec audio, isyarat suara yang kurang difahami dan semakin robotik.
Juga, walaupun sebilangan orang mempunyai akses ke rangkaian jalur lebar berkualiti tinggi yang konsisten, tahap penyambungan ini tidak universal, dan bahkan orang yang tinggal di kawasan yang bersambung dengan baik kadang-kadang menghadapi sambungan rangkaian yang buruk, sambungan rangkaian yang lemah, dan penyambungan.
Untuk menyelesaikan masalah ini, Google mencipta Lyra, codec pertuturan berkadar tinggi-rendah dan berkualiti tinggi yang menjadikan komunikasi suara tersedia walaupun di rangkaian paling perlahan.
Untuk melakukan ini, Google menggunakan teknik pengekodan tradisional sambil memanfaatkan kemajuan dalam pembelajaran mesin dengan model yang dilatih selama ribuan jam data untuk membuat kaedah baru pemampatan dan penghantaran isyarat suara.
Kod Lyra ditulis dalam C ++ untuk kepantasan, kecekapan dan interoperabiliti, ditambah menggunakan kerangka Bazel dengan Abseil dan kerangka GoogleTest untuk pengujian unit penuh.
API Asas menyediakan antara muka untuk pengekodan dan penyahkodan pada tahap paket dan fail. Rantai alat pemprosesan isyarat lengkap juga disediakan dan merangkumi pelbagai penapis dan transformasi.
“Aplikasi sampel kami terintegrasi dengan Android NDK untuk menunjukkan cara mengintegrasikan kod asli Lyra ke dalam aplikasi Android berbasis Java. Kami juga memberikan bobot vektor dan pengukur yang diperlukan untuk menjalankan Lyra, ”kata Google. Siaran ini menyediakan alat yang diperlukan untuk pembangun untuk menyandikan dan menyahkod audio dengan Lyra, yang dioptimumkan untuk platform ARM Android 64-bit, dengan versi untuk Linux.
Ciri-ciri didekodkan ke dalam bentuk gelombang menggunakan model generatif. Model generatif adalah jenis model pembelajaran mesin khas yang sangat sesuai untuk mencipta bentuk gelombang audio lengkap dari sebilangan fungsi.
Senibina Lyra sangat mirip dengan codec audio tradisional, yang telah menjadi tulang belakang komunikasi Internet selama beberapa dekad. Walaupun codec tradisional ini didasarkan pada teknik pemprosesan isyarat digital, Lyra berada pada kemampuan model generatif untuk membina semula isyarat ucapan berkualiti tinggi.
Google menerapkan Lyra dalam aplikasi panggilan video percuma Duo dan mengatakan bahawa ia membuat kod sebagai sumber terbuka kerana berpendapat ia mungkin sesuai untuk aplikasi lain.
Google berpendapat bahawa terdapat sejumlah aplikasi yang mungkin sesuai untuk Lyra, sama ada untuk mengarkibkan suara dalam jumlah besar, menjimatkan hayat bateri, atau mengurangkan kesesakan rangkaian dalam keadaan sibuk.
"Kami berharap dapat melihat kreativiti yang menjadi ciri komuniti sumber terbuka yang diterapkan kepada Lyra untuk menyampaikan aplikasi yang hebat dan unik," kata Google.
Fuente: https://opensource.googleblog.com