Riffus ist ein maschinelles Lernsystem mit stabiler Diffusion, das für die Musiksynthese angepasst ist
Das neue Projekt „Riffusion“ wurde angekündigt. Es entwickelt eine Variante des maschinellen Lernsystems Stable Diffusion, die zur Generierung von Musik anstelle von Bildern angepasst ist. Die Musik kann anhand einer vorgegebenen Vorlage oder einer natürlichsprachlichen Textbeschreibung synthetisiert werden.
Die Musiksynthesekomponenten sind in Python unter Verwendung des PyTorch-Frameworks geschrieben und unter der MIT-Lizenz verfügbar.
Das Projekt ist deshalb interessant, weil es weiterhin auf „Text-zu-Bild“- und „Bild-zu-Bild“-Modelle zur Musikerzeugung zurückgreift , aber Spektrogramme so manipuliert, als wären sie Bilder.
Mit anderen Worten: Die klassische stabile Diffusion basiert nicht auf Fotografien und Bildern, sondern auf Spektrogrammen , die die Veränderung von Frequenz und Amplitude der Schallwelle im Zeitverlauf darstellen. Folglich wird auch am Ausgang ein Spektrogramm erzeugt, das anschließend in eine Audiodarstellung umgewandelt wird.
Dies ist das stabile Diffusionsmodell von v1.5 ohne Modifikationen, das nur an Textpaar-Spektrogrammbilder angepasst wurde. Die Audioverarbeitung erfolgt nach dem Modell.
Sie können unendliche Variationen einer Anzeige generieren, indem Sie den Startwert variieren. All die gleichen Web-Benutzeroberflächen und -Techniken wie img2img, Inpainting, Negativangaben und Interpolation funktionieren sofort.
Spektrogramme
Ein Audiospektrogramm ist eine visuelle Möglichkeit, den Frequenzinhalt eines Soundclips darzustellen. Die x-Achse repräsentiert die Zeit und die y-Achse repräsentiert die Frequenz. Die Farbe jedes Pixels gibt die Amplitude des Tons bei der Frequenz und Zeit an, die durch seine Zeile und Spalte angegeben sind.
Es wird erwähnt, dass die Methode auch zur Modifizierung bestehender Klangkompositionen und zur Synthese von Sample-Musik verwendet werden kann, ähnlich der Bildmodifikation in Stable Diffusion.
Beispielsweise kann die Generierung Sample-Spektrogramme auf einen Referenzstil setzen, verschiedene Stile kombinieren, nahtlos von einem Stil zum anderen übergehen oder Änderungen an einem bestehenden Sound vornehmen, um Probleme wie das Erhöhen der Lautstärke einzelner Instrumente, das Ändern des Rhythmus und das Ersetzen zu lösen von Instrumenten.
Die STFT ist invertierbar, sodass das ursprüngliche Audio aus einem Spektrogramm rekonstruiert werden kann. Die Spektrogrammbilder unseres Modells enthalten jedoch nur die Amplitude der Sinuswellen und nicht die Phasen, weil die Phasen chaotisch und schwer zu lernen sind. Stattdessen verwenden wir den Griffin-Lim-Algorithmus, um die Phase beim Rekonstruieren des Audioclips anzunähern.
Die Muster dienen auch zur Erzeugung längerer Kompositionen, die aus einer Reihe eng beieinander liegender Passagen bestehen, welche sich im Laufe der Zeit leicht verändern. Die separat generierten Fragmente werden durch Interpolation der internen Parameter des Modells zu einem kontinuierlichen Fluss zusammengefügt.
Die Frequenz-Bins in unserem Spektrogramm verwenden die Mel-Skala, eine Wahrnehmungsskala von Tonhöhen, die von Zuhörern als gleich weit voneinander beurteilt werden.
Unten sehen Sie ein handgezeichnetes Bild, das als Spektrogramm interpretiert und in Audio umgewandelt wurde. Spielen Sie es durch, um ein intuitives Gefühl dafür zu bekommen, wie sie funktionieren. Beachten Sie, wie Sie die Töne der beiden Kurven in der unteren Hälfte hören können und wie die vier vertikalen Linien in der oberen Hälfte Rhythmen erzeugen, die einem Hi-Hat-Sound ähneln.
Eine Fourier-Transformation (eine mathematische Transformation, die verwendet wird, um Signale zwischen dem Zeitbereich und dem Frequenzbereich zu transformieren) wird verwendet, um ein Spektrogramm aus Ton zu erstellen. Bei der Wiederherstellung von Schall aus einem Spektrogramm gibt es ein Problem mit der Phasenbestimmung (im Spektrogramm sind nur Frequenz und Amplitude vorhanden), für die der Griffin-Lim-Approximationsalgorithmus verwendet wird.
Die Schnittstelle ist in TypeScript implementiert und wird ebenfalls unter der MIT-Lizenz vertrieben . Die trainierten Modelle werden unter der freizügigen Creative ML OpenRAIL-M-Lizenz zur kommerziellen Nutzung freigegeben.
Wenn Sie mehr darüber erfahren möchten, können Sie die Details unter folgendem Link einsehen.