Riffusion ir stabila difūzijas mašīnmācīšanās sistēma, kas pielāgota mūzikas sintēzei
Tika paziņots par jauna projekta "Riffusion" palaišanu. Tajā tiek izstrādāts mašīnmācīšanās sistēmas "Stable Diffusion" variants, kas pielāgots mūzikas, nevis attēlu ģenerēšanai. Mūziku var sintezēt, pamatojoties uz ieteiktu veidni vai dabiskas valodas teksta aprakstu.
Mūzikas sintēzes komponenti ir rakstīti Python, izmantojot PyTorch sistēmu, un ir pieejami saskaņā ar MIT licenci.
Projekts ir interesants, jo mūzikas ģenerēšanai tas turpina izmantot "teksta uz attēlu" un "attēla uz attēlu" modeļus , bet manipulē ar spektrogrammām tā, it kā tās būtu attēli.
Citiem vārdiem sakot, klasiskā stabilā difūzija nav balstīta uz fotogrāfijām un attēliem, bet gan uz spektrogrammas attēliem , kas atspoguļo skaņas viļņa frekvences un amplitūdas izmaiņas laika gaitā. Līdz ar to izejā tiek veidota arī spektrogramma, kas pēc tam tiek pārveidota audio attēlojumā.
Šis ir v1.5 stabilas difūzijas modelis bez modifikācijām, tikai pielāgots teksta pārī savienotiem spektrogrammu attēliem. Audio apstrāde notiek pēc modeļa.
Mainot sēklu, varat ģenerēt bezgalīgas reklāmas variācijas. Visas tās pašas tīmekļa lietotāja saskarnes un metodes, piemēram, img2img, inpainting, negatīvās norādes un interpolācija, darbojas jau no kastes.
spektrogrammas
Audio spektrogramma ir vizuāls veids, kā attēlot skaņas klipa frekvences saturu. X ass apzīmē laiku, bet y ass apzīmē frekvenci. Katra pikseļa krāsa norāda audio amplitūdu frekvencē un laikā, ko nosaka tā rinda un kolonna.
Tiek minēts, ka metodi var izmantot arī esošo skaņu kompozīciju modificēšanai un mūzikas paraugu sintezēšanai, līdzīgi kā attēlu modificēšanai programmā Stable Diffusion.
Piemēram, paaudze var iestatīt paraugu spektrogrammas uz atsauces stilu, apvienot dažādus stilus, vienmērīgi pāriet no viena stila uz citu vai veikt izmaiņas esošajā skaņā, lai atrisinātu tādas problēmas kā atsevišķu instrumentu skaļuma palielināšana, ritma maiņa un nomaiņa. instrumentiem.
STFT ir apgriežams, tāpēc sākotnējo audio var rekonstruēt no spektrogrammas. Tomēr mūsu modeļa spektrogrammas attēli satur tikai sinusoidālo viļņu amplitūdu, nevis fāzes, jo fāzes ir haotiskas un grūti apgūstamas. Tā vietā mēs izmantojam Griffin-Lim algoritmu, lai tuvinātu fāzi, rekonstruējot audio klipu.
Šie raksti tiek izmantoti arī, lai ģenerētu ilgstošas kompozīcijas, kas sastāv no virknes cieši izvietotu fragmentu, kuri laika gaitā nedaudz mainās. Atsevišķi ģenerētie fragmenti tiek apvienoti nepārtrauktā plūsmā, interpolējot modeļa iekšējos parametrus.
Frekvenču joslās mūsu spektrogrammā tiek izmantota Mela skala, kas ir uztveres skala toņiem, kurus klausītāji novērtē kā vienādā attālumā viens no otra.
Zemāk ir ar roku zīmēts attēls, kas interpretēts kā spektrogramma un pārveidots audio formātā. Izspēlējiet to, lai iegūtu intuitīvu priekšstatu par to, kā viņi strādā. Ievērojiet, kā jūs varat dzirdēt divu līkņu toņus apakšējā daļā un kā četras vertikālās līnijas augšējā daļā rada ritmus, kas līdzinās hi-hat skaņai.
Furjē transformācija (matemātiska transformācija, ko izmanto signālu pārveidošanai starp laika un frekvences domēnu) tiek izmantota, lai no skaņas izveidotu spektrogrammu. Atjaunojot skaņu no spektrogrammas, rodas problēma ar fāzes noteikšanu (spektrogrammā ir tikai frekvence un amplitūda), kuras rekonstrukcijai tiek izmantots Grifina-Lima aproksimācijas algoritms.
Saskarne ir ieviesta TypeScript valodā un tiek izplatīta arī saskaņā ar MIT licenci . Apmācītie modeļi tiek izlaisti saskaņā ar atļaujošo Creative ML OpenRAIL-M licenci komerciālai lietošanai.
Ja vēlaties uzzināt vairāk par to, varat iepazīties ar informāciju, izmantojot tālāk norādīto saiti.