Riffusion は、音楽合成に適応した安定拡散機械学習システムです。
「Riffusion」と呼ばれる新プロジェクトの開始が発表された。このプロジェクトは、画像ではなく音楽を生成するように改良された、Stable Diffusion機械学習システムの派生版を開発する。音楽は、提示されたテンプレートまたは自然言語によるテキスト記述に基づいて合成できる。
音楽合成コンポーネントは、PyTorch フレームワークを使用して Python で記述されており、MIT ライセンスの下で利用できます。
このプロジェクトが興味深いのは、音楽生成に「テキストから画像へ」や「画像から画像へ」のモデルを引き続き使用している一方で、スペクトログラムをまるで画像であるかのように操作している点です。
つまり、従来の安定拡散方式は写真や画像ではなく、音波の周波数と振幅の時間的変化を反映するスペクトログラム画像に基づいています。したがって、出力側でもスペクトログラムが生成され、それが音声表現に変換されます。
これは v1.5 の安定した拡散モデルであり、テキスト ペアのスペクトログラム イメージに当てはめただけです。 オーディオ処理はモデルの下流で行われます。
シードを変えることで、広告の無限のバリエーションを生成できます。 img2img、インペインティング、ネガティブ表示、補間など、すべて同じ Web ユーザー インターフェイスと手法がそのまま使用できます。
スペクトログラム
オーディオ スペクトログラムは、サウンド クリップの周波数成分を視覚的に表す方法です。 x 軸は時間を表し、y 軸は周波数を表します。 各ピクセルの色は、行と列で指定された周波数と時間でのオーディオの振幅を示します。
この方法は、安定拡散における画像修正と同様に、既存のサウンド構成を修正したり、サンプル音楽を合成したりするためにも使用できると述べられている。
たとえば、ジェネレーションは、サンプル スペクトログラムを参照スタイルに設定したり、さまざまなスタイルを組み合わせたり、あるスタイルから別のスタイルにスムーズに移行したり、個々の楽器の音量を上げたり、リズムを変更したり交換したりするなどの問題を解決するために既存のサウンドに変更を加えることができます。楽器の。
STFT は可逆であるため、元のオーディオをスペクトログラムから再構築できます。 ただし、位相は無秩序で学習が難しいため、モデルのスペクトログラム画像には正弦波の振幅のみが含まれ、位相は含まれていません。 代わりに、Griffin-Lim アルゴリズムを使用して、オーディオ クリップを再構築するときに位相を近似します。
これらのパターンは、時間とともにわずかに変化する、間隔の狭い一連のパッセージで構成される長時間の構成を生成するためにも使用されます。個別に生成された断片は、モデルの内部パラメータを補間することによって、連続した流れに結合されます。
スペクトログラムの周波数ビンはメルスケールを使用します。これは、リスナーが互いに同じ距離であると判断するピッチの知覚スケールです。
以下は、スペクトログラムとして解釈され、音声に変換された手書きの画像です。 プレイして、それらがどのように機能するかを直感的に感じてください。 下半分の XNUMX つのカーブのトーンがどのように聞こえ、上半分の XNUMX 本の縦線がハイハット サウンドに似たリズムをどのように生成するかに注目してください。
フーリエ変換 (時間領域と周波数領域の間で信号を変換するために使用される数学的変換) は、音からスペクトログラムを作成するために使用されます。 スペクトログラムからサウンドを再作成する場合、位相の決定に問題があり (スペクトログラムには周波数と振幅のみが存在します)、再構成には Griffin-Lim 近似アルゴリズムが使用されます。
インターフェースはTypeScriptで実装されており、MITライセンスの下で配布されています。学習済みモデルは、商用利用向けに寛容なCreative ML OpenRAIL-Mライセンスの下でリリースされています。
詳細を知りたい場合は、以下のリンクからご確認ください。