Riffusion on stabiilne difusiooni masinõppesüsteem, mis on kohandatud muusikalise sünteesi jaoks
Kuulutati välja uue projekti "Riffusion" käivitamine. See arendab masinõppesüsteemi Stable Diffusion varianti, mis on kohandatud piltide asemel muusika genereerimiseks. Muusikat saab sünteesida soovitatud malli või loomulikus keeles tekstikirjelduse põhjal.
Muusika sünteesi komponendid on kirjutatud Pythonis, kasutades PyTorchi raamistikku ja on saadaval MIT litsentsi all.
Projekt on huvitav, kuna see jätkab muusika genereerimiseks "tekstist pildiks" ja "pildist pildiks" mudelite kasutamist , kuid manipuleerib spektrogrammidega nii, nagu oleksid need pildid.
Teisisõnu, klassikaline stabiilne difusioon ei põhine fotodel ja piltidel, vaid spektrogrammidel, mis peegeldavad helilaine sageduse ja amplituudi muutust ajas. Järelikult moodustub väljundis ka spektrogramm, mis seejärel teisendatakse heliesitluseks.
See on v1.5 stabiilne difusioonimudel ilma modifikatsioonideta, mis on lihtsalt sobitatud tekstiga seotud spektrogrammi kujutistele. Heli töötlemine toimub mudelist allavoolu.
Seemne muutmisega saate luua reklaami lõpmatuid variatsioone. Kõik samad veebikasutajaliidesed ja -tehnikad, nagu img2img, inpainting, negatiivsed tähised ja interpolatsioon, töötavad juba karbist välja.
spektrogrammid
Helispektrogramm on visuaalne viis heliklipi sagedussisu esitamiseks. X-telg tähistab aega ja y-telg sagedust. Iga piksli värv annab heli amplituudi selle rea ja veeru antud sagedusel ja ajal.
Mainitakse, et meetodit saab kasutada ka olemasolevate helikompositsioonide muutmiseks ja näidismuusika sünteesimiseks, sarnaselt piltide muutmisele Stable Diffusionis.
Näiteks saab põlvkond seada näidisspektrogrammid võrdlusstiilile, kombineerida erinevaid stiile, sujuvalt üle minna ühelt stiililt teisele või teha olemasolevas helis muudatusi, et lahendada probleeme, nagu üksikute instrumentide helitugevuse suurendamine, rütmi muutmine ja asendamine. instrumentidest.
STFT on ümberpööratav, nii et originaalheli saab spektrogrammi järgi rekonstrueerida. Kuid meie mudeli spektrogrammi kujutised sisaldavad ainult siinuslainete amplituudi, mitte faase, kuna faasid on kaootilised ja neid on raske õppida. Selle asemel kasutame heliklipi rekonstrueerimisel faasi ligikaudseks määramiseks Griffin-Limi algoritmi.
Mustreid kasutatakse ka pikaajaliste kompositsioonide loomiseks, mis koosnevad tihedalt asetsevate lõikude seeriast, mis ajas veidi varieeruvad. Eraldi genereeritud fragmendid ühendatakse pidevaks vooluks, interpoleerides mudeli sisemisi parameetreid.
Meie spektrogrammi sagedusribad kasutavad Meli skaalat, mis on helikõrguste tajumise skaala, mille kuulajad hindavad üksteisest samal kaugusel.
Allpool on käsitsi joonistatud pilt, mida tõlgendatakse spektrogrammina ja teisendatakse heliks. Mängige see läbi, et saada intuitiivne tunne, kuidas nad töötavad. Pange tähele, kuidas kuulete kahe kõvera toone alumises pooles ja kuidas ülemise poole neli vertikaalset joont tekitavad hi-hat heliga sarnaseid rütme.
Fourier' teisendust (matemaatilist teisendust, mida kasutatakse signaalide teisendamiseks aja- ja sageduspiirkonna vahel) kasutatakse helist spektrogrammi loomiseks. Spektrogrammist heli taasloomisel tekib probleem faasi määramisega (spektrogrammis on ainult sagedus ja amplituud), mille rekonstrueerimiseks kasutatakse Griffin-Limi lähendusalgoritmi.
Liides on teostatud TypeScriptis ja seda levitatakse ka MIT-litsentsi alusel . Treenitud mudelid avaldatakse äriliseks kasutamiseks lubava Creative ML OpenRAIL-M litsentsi alusel.
Kui soovite selle kohta rohkem teada saada, saate üksikasju vaadata järgmisel lingil.