Riffusion je sistem strojnega učenja Stable Diffusion, prilagojen za glasbeno sintezo
Napovedan je bil začetek novega projekta z imenom »Riffusion«. Razvija različico sistema strojnega učenja Stable Diffusion , prilagojenega za ustvarjanje glasbe namesto slik. Glasbo je mogoče sintetizirati na podlagi predlagane predloge ali besedilnega opisa v naravnem jeziku.
Komponente za sintezo glasbe so napisane v Pythonu z uporabo ogrodja PyTorch in so na voljo pod licenco MIT.
Projekt je zanimiv, ker še naprej uporablja modela "besedilo v sliko" in "slika v sliko" za ustvarjanje glasbe, vendar manipulira s spektrogrami, kot da bi bili slike.
Z drugimi besedami, klasična stabilna difuzija ne temelji na fotografijah in slikah, temveč na spektrogramskih slikah , ki odražajo spremembo frekvence in amplitude zvočnega vala skozi čas. Posledično se na izhodu oblikuje tudi spektrogram, ki se nato pretvori v zvočno predstavitev.
To je model stabilne difuzije v1.5 brez sprememb, ki je samo nameščen na slikah spektrogramov, povezanih z besedilom. Obdelava zvoka poteka za modelom.
S spreminjanjem semena lahko ustvarite neskončne različice oglasa. Vsi isti spletni uporabniški vmesniki in tehnike, kot so img2img, inpainting, negativne indikacije in interpolacija, delujejo takoj.
spektrogrami
Zvočni spektrogram je vizualni način predstavitve frekvenčne vsebine zvočnega posnetka. Os x predstavlja čas, os y pa frekvenco. Barva vsake slikovne pike podaja amplitudo zvoka pri frekvenci in času, ki sta podana v njeni vrstici in stolpcu.
Omenjeno je, da se metoda lahko uporabi tudi za spreminjanje obstoječih zvočnih kompozicij in sintezo vzorčne glasbe, podobno kot spreminjanje slik v Stable Diffusion.
Generacija lahko na primer nastavi vzorčne spektrograme na referenčni slog, kombinira različne sloge, gladko prehaja iz enega sloga v drugega ali spremeni obstoječi zvok, da reši težave, kot je povečanje glasnosti posameznih instrumentov, spreminjanje ritma in zamenjava instrumentov.
STFT je invertibilen, zato je izvirni zvok mogoče rekonstruirati iz spektrograma. Vendar slike spektrograma našega modela vsebujejo le amplitudo sinusnih valov in ne faz, ker so faze kaotične in jih je težko naučiti. Namesto tega uporabljamo algoritem Griffin-Lim za približek faze pri rekonstrukciji zvočnega posnetka.
Vzorci se uporabljajo tudi za ustvarjanje dolgotrajnih kompozicij, sestavljenih iz vrste tesno razporejenih odlomkov, ki se sčasoma nekoliko spreminjajo. Ločeno ustvarjeni fragmenti se združijo v neprekinjen tok z interpolacijo notranjih parametrov modela.
Frekvenčni nizi v našem spektrogramu uporabljajo lestvico Mel, ki je zaznavna lestvica višin, za katere poslušalci ocenijo, da so med seboj enako oddaljeni.
Spodaj je ročno narisana slika, interpretirana kot spektrogram in pretvorjena v zvok. Igrajte do konca, da dobite intuitiven občutek, kako delujejo. Opazite, kako lahko slišite tone dveh krivulj v spodnji polovici in kako štiri navpične črte v zgornji polovici ustvarjajo ritme, podobne zvoku hi-hata.
Fourierjeva transformacija (matematična transformacija, ki se uporablja za pretvorbo signalov med časovno in frekvenčno domeno) se uporablja za ustvarjanje spektrograma iz zvoka. Pri poustvarjanju zvoka iz spektrograma se pojavi težava z določitvijo faze (v spektrogramu sta prisotni le frekvenca in amplituda), za katero rekonstrukcijo uporabimo Griffin-Lim aproksimacijski algoritem.
Vmesnik je implementiran v jeziku TypeScript in se distribuira tudi pod licenco MIT . Izurjeni modeli so izdani pod permisivno licenco Creative ML OpenRAIL-M za komercialno uporabo.
Če želite izvedeti več o tem, si lahko podrobnosti ogledate na naslednji povezavi.