Riffusion er et stabilt diffusionsmaskineindlæringssystem tilpasset til musikalsk syntese
Lanceringen af et nyt projekt kaldet "Riffusion" blev annonceret. Det udvikler en variant af maskinlæringssystemet Stable Diffusion, der er tilpasset til at generere musik i stedet for billeder. Musikken kan syntetiseres baseret på en foreslået skabelon eller en tekstbeskrivelse i naturligt sprog.
Musiksyntesekomponenterne er skrevet i Python ved hjælp af PyTorch-rammeværket og er tilgængelige under MIT-licensen.
Projektet er interessant, fordi det fortsat bruger "tekst-til-billede"- og "billede-til-billede"-modeller til musikgenerering, men manipulerer spektrogrammer, som om de var billeder.
Med andre ord er klassisk stabil diffusion ikke baseret på fotografier og billeder, men på spektrogrambilleder , der afspejler ændringen i lydbølgens frekvens og amplitude over tid. Følgelig dannes der også et spektrogram ved udgangen, som derefter konverteres til en lydrepræsentation.
Dette er den v1.5 stabile diffusionsmodel uden ændringer, kun monteret på tekstparrede spektrogrambilleder. Lydbehandling sker nedstrøms for modellen.
Du kan generere uendelige variationer af en annonce ved at variere frøet. Alle de samme webbrugergrænseflader og teknikker som img2img, inpainting, negative indikationer og interpolation fungerer ud af boksen.
spektrogrammer
Et lydspektrogram er en visuel måde at repræsentere frekvensindholdet i et lydklip. X-aksen repræsenterer tid, og y-aksen repræsenterer frekvens. Farven på hver pixel giver lydens amplitude ved frekvensen og tidspunktet givet af dens række og kolonne.
Det nævnes, at metoden også kan bruges til at modificere eksisterende lydkompositioner og syntetisere samplemusik, svarende til billedmodifikation i Stable Diffusion.
For eksempel kan generationen indstille sample-spektrogrammer til en referencestil, kombinere forskellige stilarter, glide overgangen fra en stilart til en anden eller foretage ændringer i en eksisterende lyd for at løse problemer såsom at øge lydstyrken på individuelle instrumenter, ændre rytmen og udskiftning af instrumenter.
STFT'en er inverterbar, så den originale lyd kan rekonstrueres ud fra et spektrogram. Spektrogrambillederne af vores model indeholder dog kun sinusbølgernes amplitude og ikke faserne, fordi faserne er kaotiske og svære at lære. I stedet bruger vi Griffin-Lim-algoritmen til at tilnærme fasen, når lydklippet rekonstrueres.
Mønstrene bruges også til at generere kompositioner med lang varighed, der består af en række tætliggende passager, der varierer en smule over tid. De separat genererede fragmenter kombineres til en kontinuerlig strøm ved at interpolere modellens interne parametre.
Frekvensfelterne i vores spektrogram bruger Mel-skalaen, som er en perceptuel skala af tonehøjder, som lyttere vurderer til at være i samme afstand fra hinanden.
Nedenfor er et håndtegnet billede tolket som et spektrogram og konverteret til lyd. Spil det igennem for at få en intuitiv fornemmelse af, hvordan de fungerer. Læg mærke til, hvordan du kan høre tonerne af de to kurver i den nederste halvdel, og hvordan de fire lodrette linjer i den øverste halvdel producerer rytmer, der ligner en hi-hat-lyd.
En Fourier-transformation (en matematisk transformation, der bruges til at transformere signaler mellem tidsdomænet og frekvensdomænet) bruges til at skabe et spektrogram ud fra lyd. Ved genskabelse af lyd fra et spektrogram er der et problem med fasebestemmelse (kun frekvens og amplitude er til stede i spektrogrammet), til hvilken rekonstruktion bruges Griffin-Lim tilnærmelsesalgoritmen.
Grænsefladen er implementeret i TypeScript og distribueres også under MIT-licensen . De trænede modeller frigives under den tilladte Creative ML OpenRAIL-M-licens til kommerciel brug.
Hvis du vil vide mere om det, kan du tjekke detaljerne på følgende link.