Google, en yavaş ağlarda bile sesli iletişimi sağlayan yüksek kaliteli, düşük bit hızlı codec bileşeni olan Lyra'nın ikinci sürümünü yayınladı.
geçenlerde Google bir blog yazısıyla tanıtıldı, ses codec bileşeninizin ikinci sürümünü yayınlayın "Lyra-V2", çok yavaş iletişim kanallarını kullanırken en yüksek ses kalitesini elde etmek için makine öğrenme tekniklerini kullanır.
Yeni versiyon yeni bir sinir ağı mimarisine geçiş sunar, ek platformlar için destek, gelişmiş bit hızı kontrolü, performans iyileştirmeleri ve daha yüksek ses kalitesi.
Şimdi, daha geniş platform desteğine sahip, ölçeklenebilir bit hızı yetenekleri, daha iyi performans ve daha yüksek kaliteli ses sağlayan yeni bir mimariye sahip Lyra V2'yi piyasaya sürüyoruz. Bu sürümle, toplulukla birlikte gelişmeye devam etmeyi ve kolektif yaratıcılığınızla yeni uygulamaların geliştirildiğini ve yeni yönlerin ortaya çıktığını görmek için sabırsızlanıyoruz.
Lyra Hakkında
Düşük hızda iletilen ses verilerinin kalitesi ile ilgili olarak, Lyra, geleneksel kodeklerden önemli ölçüde üstündür dijital sinyal işleme yöntemlerini kullanan Normal ses sıkıştırma ve sinyal dönüştürme yöntemlerine ek olarak, sınırlı miktarda iletilen bilgi koşulları altında yüksek kaliteli ses aktarımı elde etmek için, Lyra, makine öğrenimi sistemine dayalı bir ses modeli kullanır bu da eksik bilgileri yeniden oluşturmanıza olanak tanır. tipik konuşma özelliklerine dayanmaktadır.
Codec bileşeni, bir kodlayıcı ve bir kod çözücü içerir. kodlayıcı algoritması her 20 milisaniyede bir ses verisi parametrelerini alır, sıkıştırır ve alıcıya aktarır 3,2 kbps ila 9,2 kbps bit hızında ağ üzerinden.
Alıcı tarafında, kod çözücü, farklı frekans aralıklarında konuşmanın enerji özelliklerini dikkate alan ve insanın işitsel algısı düşünülerek hazırlanan logaritmik tebeşir spektrogramları dahil olmak üzere iletilen ses parametrelerine dayalı orijinal konuşma sinyalini yeniden oluşturmak için üretken bir model kullanır. .
Lyra V2'deki yenilikler neler?
Lyra V2, SoundStream sinir ağına dayalı yeni bir üretken model kullanırdüşük hesaplama gereksinimlerine sahip olan ve düşük güçlü sistemlerde bile gerçek zamanlı kod çözmeye izin veren .
Sesi oluşturmak için kullanılan model, 90'dan fazla dilde birkaç bin saatlik ses kaydı kullanılarak eğitilmiştir (Modeli çalıştırmak için TensorFlow Lite kullanılır). Önerilen uygulamanın performansı, en düşük fiyat aralığındaki akıllı telefonlarda sesi kodlamak ve kodunu çözmek için yeterlidir.
Farklı bir üretken model kullanmaya ek olarak, yeni sürüm ayrıca RVQ niceleyici ile bağlantıların dahil edilmesiyle öne çıkıyor (Residual Vector Quantizer), veri iletiminden önce gönderici tarafında ve veri alımından sonra alıcı tarafında gerçekleştirilen codec mimarisinde.
Kuantizer, codec bileşeni tarafından sağlanan parametreleri, seçilen bit hızına göre bilgileri kodlayarak paket kümelerine dönüştürür. Farklı kalite seviyelerini sağlamak için, üç bit hızı (3,2kbps, 6kbps ve 9,2kbps) için niceleyiciler sağlanır, bit hızı ne kadar yüksek olursa kalite o kadar iyi, ancak bant genişliği gereksinimleri de o kadar yüksek olur.
yeni mimari sinyal iletim gecikmelerini 100 milisaniyeden 20 milisaniyeye düşürdü. Karşılaştırma için, WebRTC için Opus codec bileşeni, test edilen bit hızlarında 26,5 ms, 46,5 ms ve 66,5 ms gecikmeler gösterdi. Kodlayıcı ve kod çözücü performansı da önemli ölçüde arttı: Bir önceki versiyona göre 5 kata kadar hızlanma var. Örneğin, Pixel 6 Pro akıllı telefonda, yeni codec bileşeni, gerçek zamanlı akış için gerekenden 20 kat daha hızlı olan 0,57ms'lik bir örneği 35ms'de kodlar ve kodunu çözer.
Performansa ek olarak, ses restorasyonunun kalitesini de iyileştirmeyi başardık: MUSHRA ölçeğine göre, Lyra V3,2 codec bileşenini kullanırken 6 kbps, 9,2 kbps ve 2 kbps bit hızlarında konuşma kalitesi 10 kbps bit hızlarına karşılık gelir, Opus codec bileşenini kullanırken 13 kbps ve 14 kbps.
Nihayet onun hakkında daha fazla bilgi edinmekle ilgileniyorsan, ayrıntıları kontrol edebilirsiniz aşağıdaki bağlantı.