Riffusion هو نظام تعلم آلي للانتشار المستقر تم تكييفه للتوليف الموسيقي
أُعلن عن إطلاق مشروع جديد يُدعى "ريفيوجن". يطوّر هذا المشروع نسخةً معدّلة من نظام التعلّم الآلي "الانتشار المستقر" مُكيّفة لتوليد الموسيقى بدلاً من الصور. ويمكن توليف الموسيقى بناءً على قالب مُقترح أو وصف نصي بلغة طبيعية.
تتم كتابة مكونات توليف الموسيقى بلغة Python باستخدام إطار عمل PyTorch وهي متوفرة بموجب ترخيص معهد ماساتشوستس للتكنولوجيا (MIT).
المشروع مثير للاهتمام لأنه يستمر في استخدام نماذج "تحويل النص إلى صورة" و"تحويل الصورة إلى صورة" لتوليد الموسيقى، ولكنه يتعامل مع مخططات الطيف كما لو كانت صورًا.
بمعنى آخر، لا يعتمد الانتشار المستقر الكلاسيكي على الصور الفوتوغرافية، بل على صور الطيف الصوتي التي تعكس تغير تردد وسعة الموجة الصوتية مع مرور الوقت. ونتيجة لذلك، يتشكل طيف صوتي عند المخرج، والذي يُحوّل بعد ذلك إلى تمثيل صوتي.
هذا هو نموذج الانتشار المستقر v1.5 بدون تعديلات ، تم تركيبه فقط على صور الطيف المقترنة بالنص. تحدث معالجة الصوت في اتجاه مجرى النموذج.
يمكنك إنشاء أشكال لا نهائية من الإعلان عن طريق تنويع المحتوى الأساسي. تعمل جميع واجهات وتقنيات مستخدم الويب نفسها مثل img2img و inpainting والمؤشرات السلبية والاستيفاء خارج الصندوق.
الطيف
يعد المخطط الطيفي الصوتي طريقة مرئية لتمثيل محتوى تردد مقطع صوتي. يمثل المحور x الوقت ويمثل المحور y التردد. يعطي لون كل بكسل سعة الصوت عند التردد والوقت اللذين يحددهما الصف والعمود.
يذكر أن هذه الطريقة يمكن استخدامها أيضًا لتعديل التراكيب الصوتية الموجودة وتوليف الموسيقى النموذجية، على غرار تعديل الصور في الانتشار المستقر.
على سبيل المثال ، يمكن للجيل تعيين مخططات طيفية نموذجية إلى نمط مرجعي ، أو الجمع بين أنماط مختلفة ، أو الانتقال بسلاسة من نمط إلى آخر ، أو إجراء تغييرات على صوت موجود لحل مشكلات مثل زيادة حجم الآلات الفردية ، وتغيير الإيقاع والاستبدال من الأدوات.
إن STFT قابل للعكس ، لذا يمكن إعادة بناء الصوت الأصلي من مخطط طيفي. ومع ذلك ، فإن صور المخطط الطيفي لنموذجنا تحتوي فقط على سعة الموجات الجيبية وليس المراحل ، لأن المراحل فوضوية ويصعب تعلمها. بدلاً من ذلك ، نستخدم خوارزمية Griffin-Lim لتقريب المرحلة عند إعادة بناء مقطع الصوت.
تُستخدم الأنماط أيضًا لإنشاء مقطوعات موسيقية طويلة، تتألف من سلسلة من المقاطع المتقاربة التي تختلف قليلاً بمرور الوقت. تُدمج الأجزاء المُنشأة بشكل منفصل في تدفق متصل عن طريق استيفاء المعلمات الداخلية للنموذج.
تستخدم حاويات التردد في مخططنا الطيفي مقياس ميل ، وهو مقياس إدراكي للنغمات التي يحكم المستمعون عليها على أنها نفس المسافة من بعضها البعض.
يوجد أدناه صورة مرسومة باليد يتم تفسيرها على أنها مخطط طيفي وتحويلها إلى صوت. قم بتشغيلها للحصول على شعور بديهي بكيفية عملها. لاحظ كيف يمكنك سماع نغمات المنحنيين في النصف السفلي ، وكيف تنتج الخطوط الرأسية الأربعة في النصف العلوي إيقاعات مشابهة لصوت هاي هات.
يتم استخدام تحويل فورييه (تحويل رياضي يستخدم لتحويل الإشارات بين المجال الزمني ومجال التردد) لإنشاء مخطط طيفي من الصوت. عند إعادة إنشاء الصوت من مخطط طيفي ، توجد مشكلة في تحديد الطور (فقط التردد والسعة موجودان في المخطط الطيفي) ، حيث يتم استخدام خوارزمية تقريب Griffin-Lim لإعادة البناء.
تم تنفيذ الواجهة باستخدام لغة TypeScript، وهي متاحة أيضًا بموجب ترخيص MIT . أما النماذج المدربة، فقد تم إصدارها بموجب ترخيص Creative ML OpenRAIL-M المُرخِّص للاستخدام التجاري.
إذا كنت ترغب في معرفة المزيد عن ذلك، يمكنك الاطلاع على التفاصيل عبر الرابط التالي.