Πριν από λίγες μέρες το Κυκλοφόρησαν προγραμματιστές Google μέσω μιας ανάρτησης ιστολογίου που έχουν λάβει την απόφαση να κάνουμε τη Λύρα ανοιχτού κώδικα. Η Lyra βασίζεται στη μηχανική εκμάθηση για να επιτρέπει φωνητικές κλήσεις υψηλής ποιότητας σε καταστάσεις χαμηλού εύρους ζώνης.
Με αυτό ωφελεί και επιτρέπει σε άλλους προγραμματιστές να τροφοδοτούν τις εφαρμογές τους επικοινωνία και ανάπτυξη της Λύρας σε νέες κατευθύνσεις.
Ένα βασικό υλικό εφαρμογών πολυμέσων για δεκαετίες, οι κωδικοποιητές επέτρεψαν σε εφαρμογές εντάσεως εύρους ζώνης να μεταδίδουν δεδομένα αποτελεσματικά.
Ως τέτοια, Η ανάπτυξη κωδικοποιητή, τόσο για βίντεο όσο και για ήχο, αποτελεί μια συνεχή πρόκληση- Παρέχετε ολοένα υψηλότερη ποιότητα, χρησιμοποιήστε λιγότερα δεδομένα και ελαχιστοποιήστε την καθυστέρηση για επικοινωνία σε πραγματικό χρόνο.
Παρόλο που το βίντεο φαίνεται να καταναλώνει πολύ μεγαλύτερο εύρος ζώνης από τον ήχο, οι σύγχρονοι κωδικοποιητές βίντεο μπορούν να επιτύχουν χαμηλότερους ρυθμούς μετάδοσης bit από ορισμένους από τους κωδικοποιητές ομιλίας υψηλής ποιότητας που χρησιμοποιούνται σήμερα.
Ο συνδυασμός του Οι κωδικοποιητές φωνής και βίντεο με χαμηλό ρυθμό μετάδοσης bit μπορούν να προσφέρουν εμπειρία βιντεοκλήσεων υψηλής ποιότητας ακόμη και σε δίκτυα χαμηλού εύρους ζώνης. Ωστόσο, ιστορικά, όσο χαμηλότερος είναι ο ρυθμός bit ενός κωδικοποιητή ήχου, τόσο λιγότερο κατανοητό είναι το φωνητικό σήμα και τόσο πιο ρομποτικό είναι.
Επίσης, παρόλο που ορισμένα άτομα έχουν πρόσβαση σε ένα συνεπές υψηλής ποιότητας ευρυζωνικό δίκτυο, αυτό το επίπεδο συνδεσιμότητας δεν είναι καθολικό και ακόμη και τα άτομα που ζουν σε καλά συνδεδεμένες περιοχές αντιμετωπίζουν μερικές φορές κακές συνδέσεις δικτύου, κακές συνδέσεις δικτύου και συνδεσιμότητα.
Για να λυθεί αυτό το πρόβλημα, Η Google δημιούργησε τη Lyra, έναν κωδικοποιητή ομιλίας υψηλής ποιότητας και εξαιρετικά χαμηλού ρυθμού bit το οποίο καθιστά τη φωνητική επικοινωνία διαθέσιμη ακόμη και στα πιο αργά δίκτυα.
Για να γίνει αυτό, Η Google εφάρμοσε παραδοσιακές τεχνικές κωδικοποίησης, ενώ εκμεταλλεύτηκε τις προόδους στη μηχανική μάθηση με μοντέλα εκπαιδευμένα πάνω από χιλιάδες ώρες δεδομένων για τη δημιουργία μιας νέας μεθόδου συμπίεσης και μετάδοσης φωνητικών σημάτων.
Ο κωδικός της Lyra είναι γραμμένος σε C ++ για ταχύτητα, αποδοτικότητα και διαλειτουργικότητα, καθώς χρησιμοποιεί το πλαίσιο Bazel με το Abseil και το πλαίσιο GoogleTest για πλήρεις δοκιμές μονάδας.
Το Basic API παρέχει μια διεπαφή για κωδικοποίηση και αποκωδικοποίηση σε επίπεδο πακέτου και αρχείου. Η πλήρης αλυσίδα εργαλείων επεξεργασίας σήματος παρέχεται επίσης και περιλαμβάνει διάφορα φίλτρα και μετασχηματισμούς.
«Το δείγμα της εφαρμογής μας ενσωματώνεται στο Android NDK για να δείξει πώς να ενσωματώσουμε τον εγγενή κώδικα της Lyra σε μια εφαρμογή Android που βασίζεται σε Java. Παρέχουμε επίσης τα διανυσματικά βάρη και τους ποσοτικοποιητές που απαιτούνται για την εκτέλεση της Lyra », δήλωσε η Google. Αυτή η έκδοση παρέχει τα απαραίτητα εργαλεία για τους προγραμματιστές να κωδικοποιούν και να αποκωδικοποιούν ήχο με το Lyra, βελτιστοποιημένο για την πλατφόρμα Android ARM 64-bit, με μια έκδοση για Linux.
Τα χαρακτηριστικά αποκωδικοποιούνται σε κυματομορφή χρησιμοποιώντας ένα γενετικό μοντέλο. Τα γενετικά μοντέλα είναι ένας ειδικός τύπος μοντέλου μηχανικής μάθησης, κατάλληλος για την αναδημιουργία μιας πλήρους κυματομορφής ήχου από περιορισμένο αριθμό λειτουργιών.
Η αρχιτεκτονική της Lyra μοιάζει πολύ με τους παραδοσιακούς κωδικοποιητές ήχου, που αποτελούν τη ραχοκοκαλιά της επικοινωνίας στο Διαδίκτυο για δεκαετίες. Ενώ αυτοί οι παραδοσιακοί κωδικοποιητές βασίζονται σε τεχνικές επεξεργασίας ψηφιακού σήματος, η Lyra βρίσκεται στην ικανότητα του μοντέλου δημιουργίας να ανακατασκευάσει ένα σήμα ομιλίας υψηλής ποιότητας.
Η Google εφάρμοσε τη Lyra στην δωρεάν εφαρμογή κλήσης βίντεο Duo και είπε ότι έκανε τον κώδικα ανοιχτό κώδικα επειδή πιστεύει ότι μπορεί να είναι κατάλληλο για άλλες εφαρμογές.
Η Google πιστεύει ότι υπάρχουν αρκετές εφαρμογές για τις οποίες η Lyra μπορεί να είναι κατάλληλη, είτε πρόκειται για αρχειοθέτηση μεγάλου όγκου φωνής, εξοικονόμηση μπαταρίας ή ανακούφιση της συμφόρησης δικτύου σε πολυάσχολες καταστάσεις.
"Ανυπομονούμε να δούμε τη δημιουργικότητα που χαρακτηρίζει την κοινότητα ανοιχτού κώδικα που εφαρμόζεται στην Lyra για να προσφέρει ισχυρές και μοναδικές εφαρμογές", δήλωσε η Google.
πηγή: https://opensource.googleblog.com