A Riffusion egy stabil diffúziós gépi tanulási rendszer, amely zenei szintézisre lett adaptálva
Bejelentették egy új projekt, a "Riffusion" elindítását. A projekt a Stable Diffusion gépi tanulási rendszer egy olyan változatát fejleszti, amely képek helyett zenét tud generálni. A zene szintetizálható egy javasolt sablon vagy egy természetes nyelvű szöveges leírás alapján.
A zenei szintézis összetevői Python nyelven, a PyTorch keretrendszerrel vannak megírva, és az MIT licenc alatt érhetők el.
A projekt azért érdekes, mert továbbra is „szövegből képbe” és „képből képbe” modelleket használ a zene generálásához, de a spektrogramokat úgy manipulálja, mintha képek lennének.
Más szóval, a klasszikus stabil diffúzió nem fényképeken és képeken alapul, hanem spektrogram képeken, amelyek a hanghullám frekvenciájának és amplitúdójának időbeli változását tükrözik. Következésképpen a kimeneten is létrejön egy spektrogram, amelyet aztán hangreprezentációvá alakítanak.
Ez a v1.5 stabil diffúziós modell módosítás nélkül, csak szövegpáros spektrogramképekre illesztve. A hangfeldolgozás a modell után történik.
Egy hirdetés végtelen változatát generálhatja a mag változtatásával. Ugyanazok a webes felhasználói felületek és technikák, mint az img2img, az inpainting, a negatív jelzések és az interpoláció, már a dobozból is működnek.
spektrogramok
Az audiospektrogram egy hangklip frekvenciatartalmának vizuális megjelenítési módja. Az x tengely az időt, az y tengely pedig a frekvenciát jelenti. Az egyes pixelek színe megadja a hang amplitúdóját a sora és oszlopa által megadott frekvencián és időben.
Megemlítik, hogy a módszerrel meglévő hangkompozíciók módosítására és mintazenék szintetizálására is lehetőség van, hasonlóan a Stable Diffusion képmódosításához.
Például a generáció beállíthat minta spektrogramokat egy referenciastílusra, kombinálhat különböző stílusokat, zökkenőmentesen válthat át egyik stílusról a másikra, vagy módosíthat egy meglévő hangzást olyan problémák megoldására, mint az egyes hangszerek hangerejének növelése, ritmus megváltoztatása és csere. hangszerek.
Az STFT invertálható, így az eredeti hang spektrogramból rekonstruálható. Modellünk spektrogramképei azonban csak a szinuszhullámok amplitúdóját tartalmazzák, a fázisokat nem, mert a fázisok kaotikusak és nehezen megtanulhatók. Ehelyett a Griffin-Lim algoritmust használjuk a fázis közelítésére a hangklip rekonstrukciója során.
A mintákat hosszú időtartamú kompozíciók létrehozására is használják, amelyek egymáshoz közeli, idővel kissé változó részletek sorozatából állnak. A külön generált töredékeket a modell belső paramétereinek interpolálásával folyamatos folyammá egyesítik.
A spektrogramunkban szereplő frekvenciasávok a Mel-skálát használják, amely a hallgatók által egymástól azonos távolságra lévő hangmagasságok észlelési skálája.
Az alábbiakban egy kézzel rajzolt kép látható spektrogramként értelmezve és hanggá konvertálva. Játsszon végig, hogy intuitív módon átérezhesse, hogyan működnek. Figyelje meg, hogyan hallja a két görbe hangjait az alsó felében, és hogyan hoz létre a felső felében a négy függőleges vonal a hi-hat hanghoz hasonló ritmust.
A Fourier-transzformáció (az időtartomány és a frekvenciatartomány közötti jelek átalakítására szolgáló matematikai transzformáció) hangból spektrogramot hoz létre. A hang spektrogramból történő újraalkotásakor probléma adódik a fázismeghatározással (a spektrogramban csak a frekvencia és az amplitúdó van jelen), amihez a rekonstrukcióhoz a Griffin-Lim közelítő algoritmust használjuk.
A felület TypeScriptben van megvalósítva, és MIT licenc alatt kerül terjesztésre . A betanított modellek kereskedelmi felhasználásra a megengedő Creative ML OpenRAIL-M licenc alatt érhetők el.
Ha többet szeretnél megtudni róla, az alábbi linken megtekintheted a részleteket.