Ang Riffusion ay isang Stable Diffusion machine learning system na inangkop para sa musical synthesis
Inanunsyo ang paglulunsad ng isang bagong proyekto na tinatawag na "Riffusion". Bumubuo ito ng isang variant ng Stable Diffusion machine learning system na inangkop upang makabuo ng musika sa halip na mga imahe. Ang musika ay maaaring i-synthesize batay sa isang iminungkahing template o isang paglalarawan ng teksto sa natural na wika.
Ang mga bahagi ng synthesis ng musika ay nakasulat sa Python gamit ang PyTorch framework at available sa ilalim ng lisensya ng MIT.
Kawili-wili ang proyekto dahil patuloy nitong ginagamit ang mga modelong "text-to-image" at "image-to-image" para sa paglikha ng musika, ngunit minamanipula ang mga spectrogram na parang mga imahe ang mga ito.
Sa madaling salita, ang klasikong Stable Diffusion ay hindi nakabatay sa mga litrato at imahe, kundi sa mga imahe ng spectrogram na sumasalamin sa pagbabago sa dalas at amplitude ng sound wave sa paglipas ng panahon. Dahil dito, isang spectrogram ang nabubuo rin sa output, na pagkatapos ay kino-convert sa isang representasyon ng audio.
Ito ang v1.5 stable diffusion model na walang mga pagbabago, na nilagyan lang ng text-paired spectrogram na mga imahe. Ang pagpoproseso ng audio ay nangyayari sa ibaba ng agos ng modelo.
Maaari kang bumuo ng walang katapusang variation ng isang ad sa pamamagitan ng pag-iiba-iba ng seed. Lahat ng parehong web user interface at diskarte tulad ng img2img, inpainting, negatibong indikasyon, at interpolation ay gumagana sa labas ng kahon.
spectrograms
Ang audio spectrogram ay isang visual na paraan ng pagkatawan sa dalas ng nilalaman ng isang sound clip. Ang x axis ay kumakatawan sa oras at ang y axis ay kumakatawan sa frequency. Ang kulay ng bawat pixel ay nagbibigay ng amplitude ng audio sa dalas at oras na ibinigay ng row at column nito.
Nabanggit na ang pamamaraan ay maaari ding gamitin upang baguhin ang mga umiiral na komposisyon ng tunog at mag-synthesize ng sample na musika, katulad ng pagbabago ng imahe sa Stable Diffusion.
Halimbawa, ang henerasyon ay maaaring magtakda ng mga sample spectrograms sa isang istilo ng sanggunian, pagsamahin ang iba't ibang mga estilo, maayos na paglipat mula sa isang istilo patungo sa isa pa, o gumawa ng mga pagbabago sa isang umiiral na tunog upang malutas ang mga problema tulad ng pagtaas ng volume ng mga indibidwal na instrumento, pagbabago ng ritmo at pagpapalit. ng mga instrumento.
Ang STFT ay invertible, kaya ang orihinal na audio ay maaaring i-reconstruct mula sa isang spectrogram. Gayunpaman, ang mga spectrogram na imahe ng aming modelo ay naglalaman lamang ng amplitude ng sine wave at hindi ang mga phase, dahil ang mga phase ay magulo at mahirap matutunan. Sa halip, ginagamit namin ang Griffin-Lim algorithm upang tantiyahin ang yugto kapag muling itinatayo ang audio clip.
Ginagamit din ang mga padron upang makabuo ng mga komposisyong pangmatagalan, na binubuo ng isang serye ng magkakalapit na mga sipi na bahagyang nag-iiba sa paglipas ng panahon. Ang magkakahiwalay na nabuong mga fragment ay pinagsama sa isang tuluy-tuloy na daloy sa pamamagitan ng pag-interpolate ng mga panloob na parametro ng modelo.
Ang frequency bins sa aming spectrogram ay gumagamit ng Mel scale, na isang perceptual scale ng mga pitch na hinuhusgahan ng mga tagapakinig na pareho ang distansya sa isa't isa.
Nasa ibaba ang isang larawang iginuhit ng kamay na binibigyang-kahulugan bilang isang spectrogram at na-convert sa audio. I-play ito upang makakuha ng intuitive na pakiramdam para sa kung paano gumagana ang mga ito. Pansinin kung paano mo maririnig ang mga tono ng dalawang kurba sa ibabang bahagi, at kung paano ang apat na patayong linya sa itaas na bahagi ay gumagawa ng mga ritmo na katulad ng tunog ng hi-hat.
Ang Fourier transform (isang mathematical transformation na ginagamit upang baguhin ang mga signal sa pagitan ng time domain at frequency domain) ay ginagamit upang lumikha ng spectrogram mula sa tunog. Kapag nililikha ang tunog mula sa isang spectrogram, may problema sa pagpapasiya ng bahagi (dalas at amplitude lamang ang naroroon sa spectrogram), kung saan ginagamit ang muling pagtatayo ng Griffin-Lim approximation algorithm.
Ang interface ay ipinatupad sa TypeScript at ipinamamahagi rin sa ilalim ng lisensya ng MIT . Ang mga sinanay na modelo ay inilabas sa ilalim ng permissive Creative ML OpenRAIL-M license para sa komersyal na paggamit.
Kung gusto mong malaman ang higit pa tungkol dito, maaari mong tingnan ang mga detalye sa sumusunod na link.