Riffusion 是一种适用于音乐合成的稳定扩散机器学习系统
一个名为“Riffusion”的新项目正式启动。该项目开发了一种基于稳定扩散（Stable Diffusion）机器学习系统的变体，用于生成音乐而非图像。音乐可以根据预设的模板或自然语言文本描述进行合成。
音乐合成组件是使用 PyTorch 框架用 Python 编写的，可在 MIT 许可下使用。
该项目很有趣，因为它继续使用“文本到图像”和“图像到图像”模型进行音乐生成，但像处理图像一样处理频谱图。
换句话说，经典稳定扩散技术并非基于照片和图像，而是基于频谱图，频谱图反映了声波频率和振幅随时间的变化。因此，输出端也会生成频谱图，然后将其转换为音频表示。
这是没有修改的 v1.5 稳定扩散模型，仅适用于文本配对的频谱图图像。 音频处理发生在模型的下游。
您可以通过改变种子来生成广告的无限变体。 所有相同的 Web 用户界面和技术，如 img2img、修复、负面指示和插值，开箱即用。
频谱图
音频频谱图是一种表示声音片段频率内容的可视化方式。 x 轴代表时间，y 轴代表频率。 每个像素的颜色给出了音频在其行和列给定的频率和时间的振幅。
文中提到，该方法还可以用于修改现有的声音组合并合成样本音乐，类似于稳定扩散中的图像修改。
例如，生成器可以将样本频谱图设置为参考风格，组合不同的风格，从一种风格平滑过渡到另一种风格，或者对现有声音进行更改，以解决诸如增加单个乐器的音量、改变节奏和替换等问题仪器。
STFT 是可逆的，因此可以从频谱图重建原始音频。 然而，我们模型的频谱图图像只包含正弦波的幅度而不包含相位，因为相位是混乱的并且难以学习。 相反，我们在重建音频剪辑时使用 Griffin-Lim 算法来近似相位。
这些模式还用于生成持续时间较长的乐曲，这些乐曲由一系列紧密排列、随时间略有变化的段落组成。通过插值模型的内部参数，将单独生成的片段组合成连续的乐段。
我们频谱图中的频率区间使用 Mel 标度，这是一种由听众判断为彼此距离相同的音高的感知标度。
下面是一张手绘图像，解释为频谱图并转换为音频。 播放它以直观地了解它们的工作原理。 请注意您如何听到下半部分两条曲线的音调，以及上半部分的四条垂直线如何产生类似于踩镲声音的节奏。
傅立叶变换（一种用于在时域和频域之间转换信号的数学变换）用于从声音创建频谱图。 从频谱图中重建声音时，相位确定存在问题（频谱图中仅存在频率和振幅），为此重建使用了 Griffin-Lim 近似算法。
该接口使用 TypeScript 实现，并以 MIT 许可证发布。训练好的模型以宽松的 Creative ML OpenRAIL-M 许可证发布，可用于商业用途。
如果您想了解更多信息，可以点击以下链接查看详情。