Riffusion е система за машинно обучение Stable Diffusion, адаптирана за музикален синтез
Обявен е стартът на нов проект, наречен „Riffusion“. Той разработва вариант на системата за машинно обучение Stable Diffusion , адаптирана да генерира музика вместо изображения. Музиката може да бъде синтезирана въз основа на предложен шаблон или текстово описание на естествен език.
Компонентите за синтез на музика са написани на Python с помощта на рамката PyTorch и са достъпни под лиценза на MIT.
Проектът е интересен, защото продължава да използва модели „текст-към-изображение“ и „изображение-към-изображение“ за генериране на музика, но манипулира спектрограмите, сякаш са изображения.
С други думи, класическата стабилна дифузия не се основава на снимки и изображения, а на спектрограмни изображения , които отразяват промяната в честотата и амплитудата на звуковата вълна с течение на времето. Следователно, на изхода се формира и спектрограма, която след това се преобразува в аудио представяне.
Това е v1.5 модел на стабилна дифузия без модификации, просто монтиран върху изображения на спектрограма, свързани с текст. Аудио обработката се извършва след модела.
Можете да генерирате безкрайни варианти на реклама, като променяте семето. Всички същите уеб потребителски интерфейси и техники като img2img, inpainting, отрицателни индикации и интерполация работят извън кутията.
спектрограми
Аудио спектрограмата е визуален начин за представяне на честотното съдържание на звуков клип. Оста x представлява времето, а оста y представлява честотата. Цветът на всеки пиксел дава амплитудата на звука при честотата и времето, дадени от неговия ред и колона.
Споменава се, че методът може да се използва и за модифициране на съществуващи звукови композиции и синтезиране на семпълна музика, подобно на модифицирането на изображения в Stable Diffusion.
Например, генерирането може да настрои примерни спектрограми към референтен стил, да комбинира различни стилове, да преминава плавно от един стил към друг или да прави промени в съществуващ звук, за да реши проблеми като увеличаване на силата на звука на отделни инструменти, промяна на ритъма и замяна на инструменти.
STFT е обратим, така че оригиналното аудио може да бъде реконструирано от спектрограма. Изображенията на спектрограмата на нашия модел обаче съдържат само амплитудата на синусоидите, а не фазите, тъй като фазите са хаотични и трудни за научаване. Вместо това използваме алгоритъма Griffin-Lim, за да приближим фазата, когато реконструираме аудиоклипа.
Моделите се използват и за генериране на дълготрайни композиции, съставени от поредица от близко разположени пасажи, които се променят леко във времето. Отделно генерираните фрагменти се комбинират в непрекъснат поток чрез интерполиране на вътрешните параметри на модела.
Честотните раздели в нашата спектрограма използват скалата на Мел, която е перцептивна скала на височината, преценена от слушателите като еднаква дистанция една от друга.
По-долу е нарисувано на ръка изображение, интерпретирано като спектрограма и преобразувано в аудио. Играйте го, за да получите интуитивно усещане за това как работят. Забележете как можете да чуете тоновете на двете криви в долната половина и как четирите вертикални линии в горната половина произвеждат ритми, подобни на хай-хет звук.
Трансформация на Фурие (математическа трансформация, използвана за трансформиране на сигнали между времевата област и честотната област) се използва за създаване на спектрограма от звук. При пресъздаване на звук от спектрограма има проблем с определянето на фазата (в спектрограмата присъстват само честота и амплитуда), за реконструкцията на които се използва алгоритъмът за приближение на Griffin-Lim.
Интерфейсът е реализиран на TypeScript и се разпространява под лиценза на MIT . Обучените модели са пуснати под разрешителния лиценз Creative ML OpenRAIL-M за търговска употреба.
Ако искате да научите повече за това, можете да проверите подробностите на следния линк.