Riffusion je systém strojového učení Stable Diffusion přizpůsobený pro hudební syntézu
Bylo oznámeno spuštění nového projektu s názvem „Riffusion“. Vyvíjí variantu systému strojového učení Stable Diffusion, která je uzpůsobena pro generování hudby namísto obrázků. Hudbu lze syntetizovat na základě navrhované šablony nebo textového popisu v přirozeném jazyce.
Komponenty hudební syntézy jsou napsány v Pythonu pomocí frameworku PyTorch a jsou dostupné pod licencí MIT.
Projekt je zajímavý, protože i nadále používá modely „text-to-image“ a „image-to-image“ pro generování hudby, ale manipuluje se spektrogramy, jako by to byly obrázky.
Jinými slovy, klasická stabilní difúze není založena na fotografiích a obrázcích, ale na spektrogramech , které odrážejí změnu frekvence a amplitudy zvukové vlny v čase. V důsledku toho se na výstupu také vytvoří spektrogram, který se poté převede do zvukové reprezentace.
Toto je stabilní difúzní model v1.5 bez úprav, jen nasazený na textově spárované spektrogramy. Zpracování zvuku probíhá za modelem.
Obměnou semene můžete generovat nekonečné variace reklamy. Všechna stejná webová uživatelská rozhraní a techniky jako img2img, inpainting, negativní indikace a interpolace fungují hned po vybalení.
spektrogramy
Zvukový spektrogram je vizuální způsob reprezentace frekvenčního obsahu zvukového klipu. Osa x představuje čas a osa y frekvenci. Barva každého pixelu udává amplitudu zvuku při frekvenci a čase dané řádkem a sloupcem.
Uvádí se, že metoda může být také použita k úpravě existujících zvukových kompozic a syntéze samplované hudby, podobně jako úprava obrazu ve Stable Diffusion.
Generace může například nastavit vzorové spektrogramy na referenční styl, kombinovat různé styly, plynule přecházet z jednoho stylu do druhého nebo provádět změny ve stávajícím zvuku a řešit problémy, jako je zvýšení hlasitosti jednotlivých nástrojů, změna rytmu a nahrazení nástrojů.
STFT je invertibilní, takže původní zvuk lze rekonstruovat ze spektrogramu. Spektrogramové snímky našeho modelu však obsahují pouze amplitudu sinusových vln a nikoli fáze, protože fáze jsou chaotické a obtížně se učí. Místo toho používáme Griffin-Limův algoritmus k aproximaci fáze při rekonstrukci zvukového klipu.
Vzory se také používají ke generování dlouhodobých kompozic, složených ze série těsně u sebe uspořádaných pasáží, které se v čase mírně mění. Samostatně generované fragmenty jsou interpolací vnitřních parametrů modelu spojeny do spojitého toku.
Frekvenční zásobníky v našem spektrogramu používají Melovu stupnici, což je vjemová stupnice výšek, které posluchači posuzují, že jsou od sebe stejně vzdálené.
Níže je ručně nakreslený obrázek interpretovaný jako spektrogram a převedený na zvuk. Přehrajte si je, abyste získali intuitivní pocit, jak fungují. Všimněte si, jak můžete slyšet tóny dvou křivek v dolní polovině a jak čtyři svislé čáry v horní polovině vytvářejí rytmy podobné zvuku hi-hat.
K vytvoření spektrogramu ze zvuku se používá Fourierova transformace (matematická transformace používaná k transformaci signálů mezi časovou doménou a frekvenční oblastí). Při obnově zvuku ze spektrogramu nastává problém s určením fáze (ve spektrogramu je přítomna pouze frekvence a amplituda), pro jejíž rekonstrukci se používá Griffin-Limův aproximační algoritmus.
Rozhraní je implementováno v jazyce TypeScript a je také distribuováno pod licencí MIT . Trénované modely jsou vydávány pod permisivní licencí Creative ML OpenRAIL-M pro komerční použití.
Pokud se o tom chcete dozvědět více, podrobnosti si můžete prohlédnout na následujícím odkazu.