Riffusion on vakaa diffuusiokoneoppimisjärjestelmä, joka on sovitettu musiikilliseen synteesiin
Uuden "Riffusion"-nimisen projektin käynnistäminen julkistettiin. Se kehittää Stable Diffusion -koneoppimisjärjestelmän muunnelmaa, joka on mukautettu tuottamaan musiikkia kuvien sijaan. Musiikki voidaan syntetisoida ehdotetun mallin tai luonnollisen kielen tekstikuvauksen perusteella.
Musiikin synteesikomponentit on kirjoitettu Pythonissa käyttäen PyTorch-kehystä ja ne ovat saatavilla MIT-lisenssillä.
Projekti on mielenkiintoinen, koska se käyttää edelleen "tekstistä kuvaksi" ja "kuvasta kuvaksi" -malleja musiikin luomiseen, mutta manipuloi spektrogrammeja ikään kuin ne olisivat kuvia.
Toisin sanoen klassinen stabiili diffuusio ei perustu valokuviin ja kuviin, vaan spektrogrammikuviin , jotka heijastavat ääniaallon taajuuden ja amplitudin muutosta ajan kuluessa. Näin ollen myös lähtöön muodostuu spektrogrammi, joka sitten muunnetaan ääniesitykseksi.
Tämä on v1.5 vakaa diffuusiomalli ilman muutoksia, vain sovitettu tekstipareihin spektrogrammikuviin. Äänenkäsittely tapahtuu mallin jälkeen.
Voit luoda mainoksesta loputtomasti muunnelmia vaihtelemalla siementä. Kaikki samat verkkokäyttöliittymät ja -tekniikat, kuten img2img, inpainting, negatiiviset merkinnät ja interpolointi toimivat heti.
spektrogrammit
Äänispektrogrammi on visuaalinen tapa esittää äänileikkeen taajuussisältö. X-akseli edustaa aikaa ja y-akseli taajuutta. Jokaisen pikselin väri antaa äänen amplitudin sen rivin ja sarakkeen antamalla taajuudella ja ajallaan.
Mainitaan, että menetelmää voidaan käyttää myös olemassa olevien äänikoostumusten muokkaamiseen ja näytemusiikin syntetisointiin, samalla tavalla kuin kuvanmuokkauksessa Stable Diffusionissa.
Sukupolvi voi esimerkiksi asettaa näytespektrogrammeja referenssityyliin, yhdistää eri tyylejä, siirtyä sujuvasti tyylistä toiseen tai tehdä muutoksia olemassa olevaan soundiin ratkaistakseen ongelmia, kuten yksittäisten instrumenttien äänenvoimakkuuden lisääminen, rytmin muuttaminen ja korvaaminen. soittimista.
STFT on käännettävä, joten alkuperäinen ääni voidaan rekonstruoida spektrogrammista. Mallimme spektrogrammikuvat sisältävät kuitenkin vain siniaaltojen amplitudin, eivät vaiheita, koska vaiheet ovat kaoottisia ja vaikeasti opittavia. Sen sijaan käytämme Griffin-Lim-algoritmia likimääräisen vaiheen luomiseen äänileikkeen rekonstruoinnissa.
Kuvioita käytetään myös pitkäkestoisten sävellysten luomiseen, jotka koostuvat sarjasta lähellä toisiaan olevia kohtia, jotka vaihtelevat hieman ajan kuluessa. Erikseen luodut fragmentit yhdistetään jatkuvaksi virraksi interpoloimalla mallin sisäisiä parametreja.
Spektrogrammimme taajuusalueet käyttävät Mel-asteikkoa, joka on havainnollinen asteikko sävelkorkeuksista, jotka kuuntelijat arvioivat olevan samalla etäisyydellä toisistaan.
Alla on käsin piirretty kuva tulkittu spektrogrammiksi ja muutettu ääneksi. Toista se läpi saadaksesi intuitiivisen tunteen niiden toiminnasta. Huomaa, kuinka voit kuulla kahden käyrän sävyt alaosassa ja kuinka neljä pystysuoraa viivaa yläosassa tuottavat hi-hat-äänen kaltaisia rytmejä.
Fourier-muunnosta (matemaattinen muunnos, jota käytetään signaalien muuntamiseen aika-alueen ja taajuusalueen välillä) käytetään spektrogrammin luomiseen äänestä. Kun ääntä luodaan uudelleen spektrogrammista, on ongelma vaiheen määrittämisessä (spektrogrammissa on vain taajuus ja amplitudi), jonka rekonstruoimiseen käytetään Griffin-Lim-approksimaatioalgoritmia.
Käyttöliittymä on toteutettu TypeScriptillä ja sitä jaellaan myös MIT-lisenssillä . Koulutetut mallit julkaistaan kaupalliseen käyttöön sallitulla Creative ML OpenRAIL-M -lisenssillä.
Jos haluat tietää siitä lisää, voit tarkistaa tiedot seuraavasta linkistä.