Риффусион је Стабле Диффусион систем машинског учења прилагођен за музичку синтезу
Најављено је покретање новог пројекта под називом „Riffusion“. У њему се развија варијанта система машинског учења Stable Diffusion прилагођена за генерисање музике уместо слика. Музика се може синтетизовати на основу предложеног шаблона или текстуалног описа на природном језику.
Компоненте за синтезу музике су написане у Питхон-у користећи ПиТорцх фрамеворк и доступне су под МИТ лиценцом.
Пројекат је занимљив јер наставља да користи моделе „текст-у-слику“ и „слика-у-слику“ за генерисање музике, али манипулише спектрограмима као да су слике.
Другим речима, класична стабилна дифузија се не заснива на фотографијама и сликама, већ на спектрограмским сликама које одражавају промену фреквенције и амплитуде звучног таласа током времена. Сходно томе, на излазу се такође формира спектрограм, који се затим претвара у аудио репрезентацију.
Ово је в1.5 модел стабилне дифузије без модификација, само постављен на слике спектрограма упарене са текстом. Обрада звука се одвија низводно од модела.
Можете да генеришете бесконачне варијације огласа мењањем семена. Сви исти веб кориснички интерфејси и технике као што су имг2имг, инпаинтинг, негативне индикације и интерполација раде ван кутије.
спектрограми
Аудио спектрограм је визуелни начин представљања фреквенцијског садржаја звучног клипа. Кс оса представља време, а и оса представља фреквенцију. Боја сваког пиксела даје амплитуду звука на фреквенцији и времену које дају његов ред и колона.
Помиње се да се метода може користити и за модификацију постојећих звучних композиција и синтезу семпловане музике, слично модификацији слике у Stable Diffusion.
На пример, генерација може да подеси узорке спектрограма на референтни стил, комбинује различите стилове, глатко прелази из једног стила у други или врши промене у постојећем звуку да би решила проблеме као што су повећање јачине звука појединачних инструмената, промена ритма и замена инструмената.
СТФТ је инверзибилан, тако да се оригинални звук може реконструисати из спектрограма. Међутим, слике спектрограма нашег модела садрже само амплитуду синусних таласа, а не и фазе, јер су фазе хаотичне и тешко их је научити. Уместо тога, користимо Гриффин-Лим алгоритам за апроксимацију фазе приликом реконструкције аудио клипа.
Шаблони се такође користе за генерисање композиција дугог трајања, састављених од низа блиско распоређених пасажа који се благо мењају током времена. Одвојено генерисани фрагменти се комбинују у континуирани ток интерполацијом унутрашњих параметара модела.
Спремници фреквенција у нашем спектрограму користе Мелову скалу, која је перцептивна скала висина за коју слушаоци процењују да је на истој удаљености један од другог.
Испод је ручно нацртана слика интерпретирана као спектрограм и претворена у аудио. Пустите га да бисте стекли интуитиван осећај како раде. Обратите пажњу на то како можете чути тонове две кривине у доњој половини и како четири вертикалне линије у горњој половини производе ритмове сличне хи-хат звуку.
Фуријеова трансформација (математичка трансформација која се користи за трансформацију сигнала између временског и фреквенцијског домена) се користи за креирање спектрограма од звука. Приликом поновног креирања звука из спектрограма, јавља се проблем са одређивањем фазе (у спектрограму су присутне само фреквенција и амплитуда), за коју се реконструкцију користи Грифин-Лим алгоритам апроксимације.
Интерфејс је имплементиран у TypeScript-у и дистрибуиран је под MIT лиценцом . Обучени модели су објављени под дозвољеном Creative ML OpenRAIL-M лиценцом за комерцијалну употребу.
Ако желите да сазнате више о томе, можете погледати детаље на следећем линку.