Birkaç gün önce Google geliştiricileri bir blog yazısında Lyra'yı açık kaynaklı hale getirmeye karar verdiklerini duyurdu. Lyra, düşük bant genişliği durumlarında yüksek kaliteli sesli görüşmeler sağlamak için makine öğrenimini kullanıyor.
Bu durum diğer geliştiricilere fayda sağlar ve iletişim uygulamalarını geliştirmelerine ve Lyra'yı yeni yönlerde geliştirmelerine olanak tanır.
Onlarca yıldır medya uygulamalarının temelini oluşturan codec'ler, bant genişliği yoğun uygulamaların verileri verimli bir şekilde iletmesine olanak tanıdı.
Bu nedenle, hem video hem de ses için kodeklerin geliştirilmesi, sürekli bir zorluk teşkil etmektedir : gerçek zamanlı iletişim için sürekli artan kalite sağlamak, daha az veri kullanmak ve gecikmeyi en aza indirmek.
Her ne kadar video, sesten çok daha fazla bant genişliği tüketiyor gibi görünse de, modern video codec'leri, günümüzde kullanılan bazı yüksek kaliteli ses codec'lerinden daha düşük bit hızlarına ulaşabilir.
Düşük bit hızına sahip ses ve video kodeklerinin birleşimi, düşük bant genişliğine sahip ağlarda bile yüksek kaliteli bir görüntülü görüşme deneyimi sağlayabilir . Bununla birlikte, tarihsel olarak, bir ses kodeğinin bit hızı ne kadar düşükse, ses sinyali o kadar az anlaşılır ve robotik hale gelir.
Ayrıca, bazı insanlar sürekli olarak yüksek kaliteli bir geniş bant ağına erişime sahip olsa da, bu seviyedeki bağlantı evrensel değildir ve iyi bağlantılara sahip bölgelerde yaşayan insanlar bile bazen zayıf ağ bağlantıları, zayıf ağ bağlantıları ve bağlantı eksikliğiyle karşı karşıya kalır.
Bu sorunu çözmek için Google, en yavaş ağlarda bile sesli iletişimi mümkün kılan yüksek kaliteli, ultra düşük bit hızına sahip bir ses kodeği olan Lyra'yı geliştirdi .
Bunu yapmak için Google, geleneksel kodlama tekniklerini uygularken, binlerce saatlik veri üzerinde eğitilmiş modellerle makine öğrenimindeki ilerlemelerden yararlanarak ses sinyallerini sıkıştırma ve iletmenin yeni bir yöntemini oluşturdu.
Lyra'nın kodu, hız, verimlilik ve birlikte çalışabilirlik sağlamak için C++ dilinde yazılmıştır ve ayrıca kapsamlı birim testleri için Abseil ile Bazel çerçevesini ve GoogleTest çerçevesini kullanmaktadır.
Çekirdek API, paket ve dosya düzeyinde kodlama ve kod çözme için bir arayüz sağlar. Eksiksiz sinyal işleme araç zinciri de sağlanır ve çeşitli filtreler ve dönüşümler içerir.
"Örnek uygulamamız, yerel Lyra kodunun Java tabanlı bir Android uygulamasına nasıl entegre edileceğini göstermek için Android NDK ile entegre oluyor. Ayrıca Lyra'yı çalıştırmak için gereken vektör ağırlıklarını ve niceleyicileri de sağlıyoruz" dedi Google. Bu sürüm, geliştiricilerin, 64 bit ARM Android platformu için optimize edilmiş ve Linux sürümüne sahip Lyra ile sesi kodlaması ve kodunu çözmesi için gerekli araçları sağlar.
Özellikler, üretken bir model kullanılarak bir dalga biçimine dönüştürülür. Üretken modeller, sınırlı sayıda özellikten tüm ses dalga formunu yeniden oluşturmaya çok uygun, özel bir tür makine öğrenimi modelidir.
Lyra'nın mimarisi , on yıllardır internet iletişiminin omurgasını oluşturan geleneksel ses kodeklerine çok benzer. Bu geleneksel kodekler dijital sinyal işleme tekniklerine dayanırken, Lyra'nın gücü, üretken modelin yüksek kaliteli bir ses sinyalini yeniden oluşturma yeteneğinde yatmaktadır.
Google, Lyra'yı ücretsiz Duo görüntülü arama uygulamasına uyguladı ve diğer uygulamalar için uygun olabileceğini düşündüğü için kodu açık kaynak haline getirdiğini söyledi.
Google, büyük miktarlarda sesi arşivlemek, pil ömründen tasarruf etmek veya yoğun durumlarda ağ tıkanıklığını hafifletmek gibi Lyra'nın uygun olabileceği bir dizi uygulama olduğuna inanıyor.
Google, "Benzersiz ve etkili uygulamalar sunmak için Lyra'ya uygulanan açık kaynak topluluğunu karakterize eden yaratıcılığı görmeyi sabırsızlıkla bekliyoruz" dedi.
Kaynak: https://opensource.googleblog.com