Vor ein paar Tagen die Google-Entwickler veröffentlicht über einen Blog-Beitrag, den sie genommen haben die Entscheidung, Lyra Open Source zu machen. Lyra basiert auf maschinellem Lernen, um qualitativ hochwertige Sprachanrufe in Situationen mit geringer Bandbreite zu ermöglichen.
Womit das Vorteile und ermöglicht anderen Entwicklern, ihre Anwendungen zu füttern Kommunikation und Lyra in neue Richtungen entwickeln.
Codecs sind seit Jahrzehnten ein fester Bestandteil von Medienanwendungen und ermöglichen es bandbreitenintensiven Anwendungen, Daten effizient zu übertragen.
So wie, Die Entwicklung von Codecs für Video und Audio ist eine ständige Herausforderung- Bieten Sie eine immer höhere Qualität, verwenden Sie weniger Daten und minimieren Sie die Latenz für die Echtzeitkommunikation.
Obwohl Video anscheinend viel mehr Bandbreite als Audio verbraucht, können moderne Videocodecs niedrigere Bitraten erzielen als einige der heute verwendeten hochwertigen Sprachcodecs.
Die Kombination von Sprach- und Videocodecs mit niedriger Bitrate können ein qualitativ hochwertiges Videoanruferlebnis bieten auch in Netzwerken mit geringer Bandbreite. In der Vergangenheit ist das Sprachsignal jedoch umso weniger verständlich und roboterhafter, je niedriger die Bitrate eines Audio-Codecs ist.
Obwohl einige Menschen Zugang zu einem konsistenten, qualitativ hochwertigen Breitbandnetz haben, ist diese Konnektivität nicht universell, und selbst Menschen, die in gut vernetzten Gebieten leben, sind manchmal mit schlechten Netzwerkverbindungen, schlechten Netzwerkverbindungen und mangelnder Konnektivität konfrontiert.
Um dieses Problem zu lösen, Google hat Lyra entwickelt, einen hochwertigen Sprachcodec mit extrem niedriger Bitrate Dadurch ist die Sprachkommunikation auch in den langsamsten Netzwerken verfügbar.
Um dies zu tun, Google wendete traditionelle Codierungstechniken an und nutzte dabei die Fortschritte beim maschinellen Lernen mit Modellen, die über Tausende von Datenstunden trainiert wurden, um eine neue Methode zur Komprimierung und Übertragung von Sprachsignalen zu schaffen.
Lyras Code ist aus Gründen der Geschwindigkeit in C ++ geschrieben. Effizienz und Interoperabilität sowie das Bazel-Framework mit Abseil und das GoogleTest-Framework für vollständige Unit-Tests.
Die Basis-API bietet eine Schnittstelle zum Codieren und Decodieren auf Paket- und Dateiebene. Die komplette Signalverarbeitungs-Toolchain wird ebenfalls bereitgestellt und enthält verschiedene Filter und Transformationen.
„Unsere Beispielanwendung lässt sich in das Android NDK integrieren, um zu zeigen, wie der native Code von Lyra in eine Java-basierte Android-Anwendung integriert werden kann. Wir stellen auch die Vektorgewichte und Quantifizierer bereit, die zum Ausführen von Lyra erforderlich sind “, sagte Google. Diese Version bietet Entwicklern die erforderlichen Tools zum Codieren und Decodieren von Audio mit Lyra, optimiert für die 64-Bit-Android-ARM-Plattform, mit einer Version für Linux.
Features werden mithilfe eines generativen Modells in Wellenform dekodiert. Generative Modelle sind eine spezielle Art von maschinellem Lernmodell, das sich gut zum Wiederherstellen einer vollständigen Audio-Wellenform aus einer begrenzten Anzahl von Funktionen eignet.
Die Architektur von Lyra ist den traditionellen Audio-Codecs sehr ähnlich, die seit Jahrzehnten das Rückgrat der Internetkommunikation sind. Während diese traditionellen Codecs auf digitalen Signalverarbeitungstechniken basieren, beruht Lyra auf der Fähigkeit des generativen Modells, ein qualitativ hochwertiges Sprachsignal zu rekonstruieren.
Google hat Lyra in seine kostenlose Videoanruf-App Duo implementiert und erklärt, dass der Code Open Source ist, da er der Meinung ist, dass er für andere Apps geeignet sein könnte.
Google ist der Ansicht, dass es eine Reihe von Apps gibt, für die Lyra geeignet sein könnte, sei es zum Archivieren großer Sprachmengen, zum Sparen der Akkulaufzeit oder zum Verringern von Netzwerküberlastungen in geschäftigen Situationen.
"Wir freuen uns auf die Kreativität, die die Open-Source-Community auszeichnet, die auf Lyra angewendet wird, um leistungsstarke und einzigartige Anwendungen bereitzustellen", sagte Google.
Quelle: https://opensource.googleblog.com