Riffusion është një sistem mësimi i makinerive me difuzion të qëndrueshëm i përshtatur për sintezën muzikore
U njoftua lançimi i një projekti të ri të quajtur "Riffusion". Ai zhvillon një variant të sistemit të të mësuarit automatik Stable Diffusion të përshtatur për të gjeneruar muzikë në vend të imazheve. Muzika mund të sintetizohet bazuar në një shabllon të sugjeruar ose një përshkrim teksti në gjuhën natyrore.
Komponentët e sintezës së muzikës janë shkruar në Python duke përdorur kornizën PyTorch dhe janë të disponueshme nën licencën MIT.
Projekti është interesant sepse vazhdon të përdorë modelet "tekst-në-imazh" dhe "imazh-në-imazh" për gjenerimin e muzikës, por manipulon spektrogramet sikur të ishin imazhe.
Me fjalë të tjera, Difuzioni klasik i qëndrueshëm nuk bazohet në fotografi dhe imazhe, por në imazhe spektrograme që pasqyrojnë ndryshimin në frekuencën dhe amplitudën e valës së zërit me kalimin e kohës. Si pasojë, në dalje formohet edhe një spektrogram, i cili më pas shndërrohet në një përfaqësim audio.
Ky është modeli i qëndrueshëm i difuzionit v1.5 pa modifikime, i vendosur vetëm në imazhet e spektrogramit të çiftëzuar me tekst. Përpunimi i audios ndodh në rrjedhën e poshtme të modelit.
Ju mund të gjeneroni variacione të pafundme të një reklame duke ndryshuar farën. Të gjitha ndërfaqet dhe teknikat e njëjta të përdoruesve të uebit si img2img, inpainting, indikacionet negative dhe interpolimi funksionojnë jashtë kutisë.
spektrogramet
Një spektrogram audio është një mënyrë vizuale për të përfaqësuar përmbajtjen e frekuencës së një klipi zanor. Boshti x përfaqëson kohën dhe boshti y përfaqëson frekuencën. Ngjyra e çdo piksel jep amplituda e audios në frekuencën dhe kohën e dhënë nga rreshti dhe kolona e tij.
Përmendet se metoda mund të përdoret gjithashtu për të modifikuar kompozimet ekzistuese të tingujve dhe për të sintetizuar muzikën e mostrës, ngjashëm me modifikimin e imazhit në Stable Diffusion.
Për shembull, gjenerata mund të vendosë spektrogramet e mostrës në një stil referimi, të kombinojë stile të ndryshme, të kalojë pa probleme nga një stil në tjetrin ose të bëjë ndryshime në një tingull ekzistues për të zgjidhur probleme të tilla si rritja e volumit të instrumenteve individuale, ndryshimi i ritmit dhe zëvendësimi të instrumenteve.
STFT është i kthyeshëm, kështu që audio origjinale mund të rindërtohet nga një spektrogram. Megjithatë, imazhet e spektrogramit të modelit tonë përmbajnë vetëm amplituda e valëve sinus dhe jo fazat, sepse fazat janë kaotike dhe të vështira për t'u mësuar. Në vend të kësaj, ne përdorim algoritmin Griffin-Lim për të përafruar fazën kur rindërtojmë klipin audio.
Modelet përdoren gjithashtu për të gjeneruar kompozime me kohëzgjatje të gjatë, të përbëra nga një seri pasazhesh të vendosura ngushtë që ndryshojnë pak me kalimin e kohës. Fragmentet e gjeneruara veçmas kombinohen në një rrjedhë të vazhdueshme duke interpoluar parametrat e brendshëm të modelit.
Koshat e frekuencës në spektrogramin tonë përdorin shkallën Mel, e cila është një shkallë perceptuese e lartësive të gjykuara nga dëgjuesit si të njëjtën distancë nga njëri-tjetri.
Më poshtë është një imazh i tërhequr me dorë i interpretuar si spektrogram dhe i konvertuar në audio. Luaje atë për të marrë një ndjenjë intuitive për mënyrën se si funksionojnë. Vini re se si mund të dëgjoni tonet e dy kthesave në gjysmën e poshtme dhe se si katër vijat vertikale në gjysmën e sipërme prodhojnë ritme të ngjashme me një tingull hi-hat.
Një transformim Furier (një transformim matematikor i përdorur për të transformuar sinjalet midis domenit të kohës dhe fushës së frekuencës) përdoret për të krijuar një spektrogram nga tingulli. Kur rikrijohet tingulli nga një spektrogram, ka një problem me përcaktimin e fazës (vetëm frekuenca dhe amplituda janë të pranishme në spektrogram), për të cilin rindërtim përdoret algoritmi i përafrimit Griffin-Lim.
Ndërfaqja është implementuar në TypeScript dhe shpërndahet gjithashtu sipas licencës MIT . Modelet e trajnuara publikohen sipas licencës lejuese Creative ML OpenRAIL-M për përdorim komercial.
Nëse doni të dini më shumë rreth kësaj, mund t’i kontrolloni detajet në lidhjen e mëposhtme.