Alguns dias atrás, o Desenvolvedores do Google lançados por meio de uma postagem no blog que eles fizeram a decisão de tornar o código-fonte aberto de Lyra. Lyra é baseado no aprendizado de máquina para permitir chamadas de voz de alta qualidade em situações de baixa largura de banda.
Com o qual este beneficia e permite que outros desenvolvedores alimentem seus aplicativos comunicação e desenvolver Lyra em novas direções.
Um componente básico dos aplicativos de mídia por décadas, os codecs permitiram que aplicativos com uso intensivo de largura de banda transmitissem dados com eficiência.
Assim sendo, o desenvolvimento de codecs, tanto para vídeo quanto para áudio, apresenta um desafio contínuo- Fornece qualidade cada vez maior, usa menos dados e minimiza a latência para comunicação em tempo real.
Embora o vídeo pareça consumir muito mais largura de banda do que o áudio, os codecs de vídeo modernos podem atingir taxas de bits mais baixas do que alguns dos codecs de voz de alta qualidade em uso hoje.
A combinação de Codecs de voz e vídeo de baixa taxa de bits podem trazer uma experiência de videochamada de alta qualidade mesmo em redes de baixa largura de banda. No entanto, historicamente, quanto mais baixa a taxa de bits de um codec de áudio, menos inteligível é o sinal de voz e mais robótico ele é.
Além disso, embora algumas pessoas tenham acesso a uma rede de banda larga de alta qualidade consistente, esse nível de conectividade não é universal, e mesmo as pessoas que vivem em áreas bem conectadas às vezes enfrentam conexões de rede ruins, conexões de rede ruins e conectividade deficiente.
Para resolver este problema, O Google criou o Lyra, um codec de voz de alta qualidade e taxa de bits ultrabaixa o que torna a comunicação de voz disponível mesmo nas redes mais lentas.
Para fazer isso, O Google aplicou técnicas de codificação tradicionais aproveitando os avanços no aprendizado de máquina com modelos treinados ao longo de milhares de horas de dados para criar um novo método de compressão e transmissão de sinais de voz.
O código de Lyra é escrito em C ++ para velocidade, eficiência e interoperabilidade, além de usar a estrutura Bazel com Abseil e a estrutura GoogleTest para testes de unidade completos.
A API básica fornece uma interface para codificação e decodificação no nível de pacote e arquivo. O conjunto completo de ferramentas de processamento de sinal também é fornecido e inclui vários filtros e transformações.
“Nosso aplicativo de amostra se integra ao Android NDK para mostrar como integrar o código nativo de Lyra em um aplicativo Android baseado em Java. Também fornecemos os pesos vetoriais e quantificadores necessários para executar o Lyra ”, disse o Google. Esta versão fornece as ferramentas necessárias para os desenvolvedores codificar e decodificar áudio com Lyra, otimizado para a plataforma ARM Android de 64 bits, com uma versão para Linux.
Os recursos são decodificados em forma de onda usando um modelo generativo. Modelos generativos são um tipo especial de modelo de aprendizado de máquina adequado para recriar uma forma de onda de áudio completa a partir de um número limitado de funções.
A arquitetura de Lyra é muito semelhante aos codecs de áudio tradicionais, que têm sido a espinha dorsal da comunicação na Internet por décadas. Embora esses codecs tradicionais sejam baseados em técnicas de processamento de sinal digital, Lyra reside na capacidade do modelo gerador de reconstruir um sinal de voz de alta qualidade.
O Google implementou o Lyra em seu aplicativo de videochamada gratuito Duo e disse que estava tornando o código-fonte aberto porque acha que pode ser adequado para outros aplicativos.
O Google acredita que há uma série de aplicativos para os quais o Lyra pode ser adequado, seja para arquivar grandes quantidades de voz, economizar bateria ou diminuir o congestionamento da rede em situações de grande movimento.
"Estamos ansiosos para ver a criatividade que caracteriza a comunidade de código aberto aplicada à Lyra para fornecer aplicativos poderosos e exclusivos", disse o Google.
fonte: https://opensource.googleblog.com