Riffusion — це система машинного навчання Stable Diffusion, адаптована для музичного синтезу
Було оголошено про запуск нового проєкту під назвою «Riffusion». Він розробляє варіант системи машинного навчання Stable Diffusion , адаптованої для генерації музики замість зображень. Музику можна синтезувати на основі запропонованого шаблону або текстового опису природною мовою.
Компоненти синтезу музики написані на Python за допомогою інфраструктури PyTorch і доступні за ліцензією MIT.
Проєкт цікавий тим, що він продовжує використовувати моделі «текст-у-зображення» та «зображення-у-зображення» для генерації музики, але маніпулює спектрограмами так, ніби вони є зображеннями.
Іншими словами, класична стабільна дифузія базується не на фотографіях та зображеннях, а на спектрограмних зображеннях , які відображають зміну частоти та амплітуди звукової хвилі з часом. Отже, на виході також формується спектрограма, яка потім перетворюється на аудіопредставлення.
Це стабільна дифузійна модель версії 1.5 без модифікацій, лише підібрана на зображеннях спектрограм, поєднаних із текстом. Обробка звуку відбувається після моделі.
Ви можете генерувати нескінченну кількість варіантів реклами, змінюючи початкове значення. Усі ті самі користувацькі веб-інтерфейси та методики, такі як img2img, inpainting, негативні індикації та інтерполяція, працюють із коробки.
спектрограми
Аудіоспектрограма — це візуальний спосіб представлення частотного вмісту звукового кліпу. Вісь x представляє час, а вісь y – частоту. Колір кожного пікселя визначає амплітуду аудіо на частоті та часі, визначених його рядком і стовпцем.
Зазначається, що метод також можна використовувати для модифікації існуючих звукових композицій та синтезу семплів музики, подібно до модифікації зображень у Stable Diffusion.
Наприклад, генерація може встановлювати семпли спектрограм на еталонний стиль, комбінувати різні стилі, плавно переходити від одного стилю до іншого або вносити зміни в існуючий звук для вирішення таких проблем, як збільшення гучності окремих інструментів, зміна ритму та заміна інструментів.
STFT є оборотним, тому оригінальне аудіо можна відновити зі спектрограми. Однак зображення спектрограми нашої моделі містять лише амплітуду синусоїдальних хвиль, а не фази, оскільки фази є хаотичними і їх важко вивчити. Замість цього ми використовуємо алгоритм Гріффіна-Ліма для наближення фази під час реконструкції аудіокліпу.
Ці шаблони також використовуються для створення тривалих композицій, що складаються з серії близько розташованих уривків, які дещо змінюються з часом. Окремо згенеровані фрагменти об'єднуються в безперервний потік шляхом інтерполяції внутрішніх параметрів моделі.
Частотні розділи на нашій спектрограмі використовують шкалу Мела, яка є перцепційною шкалою висот, які, на думку слухачів, знаходяться на однаковій відстані один від одного.
Нижче наведено намальоване від руки зображення, інтерпретоване як спектрограма та перетворене на аудіо. Програйте, щоб інтуїтивно відчути, як вони працюють. Зверніть увагу на те, як ви можете почути тони двох кривих у нижній половині, і як чотири вертикальні лінії у верхній половині створюють ритми, схожі на звук хай-хету.
Перетворення Фур’є (математичне перетворення, яке використовується для перетворення сигналів між часовою та частотною областями) використовується для створення спектрограми звуку. При відтворенні звуку зі спектрограми виникає проблема визначення фази (на спектрограмі присутні тільки частота та амплітуда), для відновлення якої використовується апроксимаційний алгоритм Гріффіна-Ліма.
Інтерфейс реалізовано на TypeScript та також розповсюджується за ліцензією MIT . Навчені моделі випускаються за ліцензією Creative ML OpenRAIL-M для комерційного використання.
Якщо ви хочете дізнатися більше про це, ви можете перевірити деталі за наступним посиланням.