Google төмен бит жылдамдығы ашық бастапқы кодек Lyra V2 шығарды

Жақында Google блог жазбасы арқылы таныстырды, аудио кодектеріңіздің екінші нұсқасын шығару «Лира-V2», өте баяу байланыс арналарын пайдаланған кезде дауыстың ең жоғары сапасына қол жеткізу үшін машиналық оқыту әдістерін пайдаланады.

Жаңа нұсқа жаңа нейрондық желінің архитектурасына көшуді енгізеді, қосымша платформаларға қолдау, жақсартылған бит жылдамдығын басқару, өнімділікті жақсарту және жоғары дыбыс сапасы.

Біз енді кеңірек платформа қолдауына ие, кеңейтілетін бит жылдамдығы мүмкіндіктерін, жақсы өнімділікті және жоғары сапалы дыбысты қамтамасыз ететін жаңа архитектурасы бар Lyra V2 шығарамыз. Осы шығарылым арқылы біз қауымдастықпен бірге дамуды жалғастырамыз және ұжымдық шығармашылықпен жаңа қолданбалардың әзірленуін және жаңа бағыттардың пайда болуын көреміз.

Лира туралы

Төмен жылдамдықта берілетін дауыстық деректердің сапасына қатысты, Lyra дәстүрлі кодектерден айтарлықтай жоғары цифрлық сигналдарды өңдеу әдістерін қолданатын. Жіберілетін ақпараттың шектеулі көлемі жағдайында жоғары сапалы дауысты жіберуге қол жеткізу үшін әдеттегі дыбысты қысу және сигналды түрлендіру әдістерінен басқа, Lyra машиналық оқыту жүйесіне негізделген дауыс үлгісін пайдаланады ол жетіспейтін ақпаратты қайта жасауға мүмкіндік береді. типтік сөйлеу ерекшеліктеріне негізделген.

Кодек құрамына кодтауыш пен декодер кіреді. Кодер алгоритмі дауыс деректерінің параметрлерін әрбір 20 миллисекунд сайын шығарып, оларды қысып, алушыға жібереді. желі арқылы бит жылдамдығы 3,2 кбит/с-тан 9,2 кбит/с дейін.

Қабылдағыш жағында декодер әртүрлі жиілік диапазонындағы сөйлеудің энергетикалық сипаттамаларын ескеретін және адамның есту қабілетін ескере отырып дайындалған логарифмдік бор спектрограммаларын қоса алғанда, берілген дыбыс параметрлері негізінде бастапқы сөйлеу сигналын қайта жасау үшін генеративті үлгіні пайдаланады. .

Lyra V2-де қандай жаңалықтар бар?

Lyra V2 SoundStream нейрондық желісіне негізделген жаңа генеративті модельді пайдаланады, ол төмен есептеу талаптары бар, тіпті төмен қуатты жүйелерде де нақты уақытта декодтауға мүмкіндік береді.

Дыбысты генерациялау үшін қолданылатын модель 90-нан астам тілде бірнеше мың сағаттық дауыстық жазбаларды қолдану арқылы оқытылды (Модельді іске қосу үшін TensorFlow Lite пайдаланылады). Ұсынылған енгізудің өнімділігі ең төменгі баға диапазонындағы смартфондардағы дауысты кодтау және декодтау үшін жеткілікті.

Басқа генеративті модельді пайдаланудан басқа, жаңа нұсқа RVQ кванфикаторы бар сілтемелерді қосуымен де ерекшеленеді (Residual Vector Quantizer) кодек архитектурасында, ол деректерді жіберу алдында жіберуші жағында және деректерді қабылдаудан кейін қабылдаушы жағында орындалады.

Квантизатор кодек ұсынған параметрлерді таңдалған разряд жылдамдығына қатысты ақпаратты кодтай отырып, пакеттер жиынына түрлендіреді. Әртүрлі сапа деңгейлерін қамтамасыз ету үшін квантизаторлар үш бит жылдамдығына (3,2 кбит/с, 6 кбит/с және 9,2 кбит/с) беріледі, бит жылдамдығы неғұрлым жоғары болса, соғұрлым сапа жақсырақ болады, бірақ өткізу қабілетіне қойылатын талаптар соғұрлым жоғары болады.

жаңа архитектура сигнал беру кідірістерін 100 миллисекундтан 20 миллисекундқа дейін азайтты. Салыстыру үшін, WebRTC үшін Opus кодегі тексерілген бит жылдамдықтарында 26,5 мс, 46,5 мс және 66,5 мс кешігулерді көрсетті. Кодер мен декодер өнімділігі де айтарлықтай өсті: Алдыңғы нұсқамен салыстырғанда 5 есеге дейін жеделдету бар. Мысалы, Pixel 6 Pro смартфонында жаңа кодек 20 мс үлгіні 0,57 мс-те кодтайды және декодтайды, бұл нақты уақыттағы ағынмен жіберу үшін қажет болғаннан 35 есе жылдамырақ.

Өнімділіктен басқа, біз дыбысты қалпына келтіру сапасын жақсарта алдық: MUSHRA шкаласы бойынша Lyra V3,2 кодегін пайдаланған кезде 6 кбит/с, 9,2 кбит/с және 2 кбит/с бит жылдамдықтарында сөйлеу сапасы 10 кбит/с бит жылдамдығына сәйкес келеді, Opus кодегін пайдаланған кезде 13 кбит/с және 14 кбит/с.

Finalmente егер сіз бұл туралы көбірек білгіңіз келсе, егжей-тегжейін тексере аласыз келесі сілтеме.