Riffusion 是一種適用於音樂合成的穩定擴散機器學習系統
一個名為「Riffusion」的新計畫正式啟動。該計畫開發了一種基於穩定擴散（Stable Diffusion）機器學習系統的變體，用於生成音樂而非影像。音樂可以根據預設的模板或自然語言文字描述進行合成。
音樂合成組件是使用 PyTorch 框架用 Python 編寫的，可在 MIT 許可下使用。
這個專案很有趣，因為它繼續使用“文字到圖像”和“圖像到圖像”模型進行音樂生成，但像處理圖像一樣處理頻譜圖。
換句話說，經典穩定擴散技術並非基於照片和影像，而是基於頻譜圖，頻譜圖反映了聲波頻率和振幅隨時間的變化。因此，輸出端也會產生頻譜圖，然後將其轉換為音訊表示。
這是沒有修改的 v1.5 穩定擴散模型，僅適用於文本配對的頻譜圖圖像。 音頻處理髮生在模型的下游。
您可以通過改變種子來生成廣告的無限變體。 所有相同的 Web 用戶界面和技術，如 img2img、修復、負面指示和插值，開箱即用。
頻譜圖
音頻頻譜圖是一種表示聲音片段頻率內容的可視化方式。 x 軸代表時間，y 軸代表頻率。 每個像素的顏色給出了音頻在其行和列給定的頻率和時間的振幅。
文中提到，此方法也可以用來修改現有的聲音作品和合成樣本音樂，類似於穩定擴散中的影像修改。
例如，生成器可以將樣本頻譜圖設置為參考風格，組合不同的風格，從一種風格平滑過渡到另一種風格，或者對現有聲音進行更改，以解決諸如增加單個樂器的音量、改變節奏和替換等問題儀器。
STFT 是可逆的，因此可以從頻譜圖重建原始音頻。 然而，我們模型的頻譜圖圖像只包含正弦波的幅度而不包含相位，因為相位是混亂的並且難以學習。 相反，我們在重建音頻剪輯時使用 Griffin-Lim 算法來近似相位。
這些模式也用於產生持續時間較長的樂曲，這些樂曲由一系列緊密排列、隨時間略有變化的段落組成。透過內插模型的內部參數，將單獨產生的片段組合成連續的樂段。
我們頻譜圖中的頻率區間使用 Mel 標度，這是一種由聽眾判斷為彼此距離相同的音高的感知標度。
下面是一張手繪圖像，解釋為頻譜圖並轉換為音頻。 播放它以直觀地了解它們的工作原理。 請注意您如何聽到下半部分兩條曲線的音調，以及上半部分的四條垂直線如何產生類似於踩镲聲音的節奏。
傅里葉變換（一種用於在時域和頻域之間轉換信號的數學變換）用於從聲音創建頻譜圖。 從頻譜圖中重建聲音時，相位確定存在問題（頻譜圖中僅存在頻率和振幅），為此使用 Griffin-Lim 近似算法進行重建。
此介面使用 TypeScript 實現，並以 MIT 許可證發布。訓練好的模型以寬鬆的 Creative ML OpenRAIL-M 授權發布，可用於商業用途。
如果您想了解更多信息，可以點擊以下連結查看詳情。