রিফিউশন হল একটি স্থিতিশীল ডিফিউশন মেশিন লার্নিং সিস্টেম যা বাদ্যযন্ত্র সংশ্লেষণের জন্য অভিযোজিত
"রিফিউশন" নামক একটি নতুন প্রকল্পের সূচনা ঘোষণা করা হয়েছে। এটি স্টেবল ডিফিউশন মেশিন লার্নিং সিস্টেমের এমন একটি সংস্করণ তৈরি করে, যা ছবির পরিবর্তে সঙ্গীত তৈরি করার জন্য অভিযোজিত। একটি প্রস্তাবিত টেমপ্লেট বা স্বাভাবিক ভাষার পাঠ্য বিবরণের উপর ভিত্তি করে সঙ্গীত সংশ্লেষণ করা যেতে পারে।
PyTorch ফ্রেমওয়ার্ক ব্যবহার করে সঙ্গীত সংশ্লেষণের উপাদানগুলি পাইথনে লেখা হয় এবং এমআইটি লাইসেন্সের অধীনে উপলব্ধ।
প্রকল্পটি আকর্ষণীয়, কারণ এটি সঙ্গীত তৈরির জন্য 'টেক্সট-টু-ইমেজ' এবং 'ইমেজ-টু-ইমেজ' মডেল ব্যবহার অব্যাহত রাখলেও , স্পেকট্রোগ্রামগুলোকে ছবির মতো করে পরিচালনা করে।
অন্য কথায়, ক্লাসিক স্টেবল ডিফিউশন ফটোগ্রাফ এবং ইমেজের উপর ভিত্তি করে নয়, বরং স্পেকট্রোগ্রাম ইমেজের উপর ভিত্তি করে কাজ করে, যা সময়ের সাথে সাথে শব্দ তরঙ্গের ফ্রিকোয়েন্সি এবং অ্যাম্প্লিটিউডের পরিবর্তনকে প্রতিফলিত করে। ফলস্বরূপ, আউটপুটেও একটি স্পেকট্রোগ্রাম তৈরি হয়, যা পরে একটি অডিও উপস্থাপনায় রূপান্তরিত হয়।
এটি কোন পরিবর্তন ছাড়াই v1.5 স্থিতিশীল প্রসারণ মডেল, শুধু পাঠ্য-জোড়া স্পেকট্রোগ্রাম চিত্রগুলিতে লাগানো। অডিও প্রক্রিয়াকরণ মডেলের নিচের দিকে ঘটে।
আপনি বীজ পরিবর্তন করে একটি বিজ্ঞাপনের অসীম বৈচিত্র তৈরি করতে পারেন। সমস্ত একই ওয়েব ইউজার ইন্টারফেস এবং কৌশল যেমন img2img, ইনপেইন্টিং, নেতিবাচক ইঙ্গিত এবং ইন্টারপোলেশন বাক্সের বাইরে কাজ করে।
বর্ণালীগ্রাম
একটি অডিও স্পেকট্রোগ্রাম একটি সাউন্ড ক্লিপের ফ্রিকোয়েন্সি বিষয়বস্তু প্রতিনিধিত্ব করার একটি ভিজ্যুয়াল উপায়। x অক্ষ সময় এবং y অক্ষ ফ্রিকোয়েন্সি প্রতিনিধিত্ব করে। প্রতিটি পিক্সেলের রঙ তার সারি এবং কলাম দ্বারা প্রদত্ত ফ্রিকোয়েন্সি এবং সময়ে অডিওর প্রশস্ততা দেয়।
উল্লেখ করা হয়েছে যে, স্টেবল ডিফিউশন-এ ইমেজ মডিফিকেশনের মতোই, এই পদ্ধতিটি বিদ্যমান সাউন্ড কম্পোজিশন পরিবর্তন করতে এবং স্যাম্পল মিউজিক সংশ্লেষণ করতেও ব্যবহার করা যেতে পারে ।
উদাহরণস্বরূপ, প্রজন্ম একটি রেফারেন্স শৈলীতে নমুনা স্পেকট্রোগ্রাম সেট করতে পারে, বিভিন্ন শৈলীকে একত্রিত করতে পারে, এক শৈলী থেকে অন্য শৈলীতে মসৃণভাবে রূপান্তর করতে পারে, বা পৃথক যন্ত্রের ভলিউম বাড়ানো, তাল পরিবর্তন এবং প্রতিস্থাপনের মতো সমস্যাগুলি সমাধান করতে বিদ্যমান শব্দে পরিবর্তন করতে পারে। যন্ত্রের
STFT ইনভার্টেবল, তাই মূল অডিও একটি স্পেকট্রোগ্রাম থেকে পুনর্গঠন করা যেতে পারে। যাইহোক, আমাদের মডেলের স্পেকট্রোগ্রাম চিত্রগুলিতে শুধুমাত্র সাইন তরঙ্গের প্রশস্ততা রয়েছে এবং পর্যায়গুলি নয়, কারণ পর্যায়গুলি বিশৃঙ্খল এবং শেখা কঠিন। পরিবর্তে, আমরা অডিও ক্লিপ পুনর্গঠনের সময় আনুমানিক পর্যায়ের জন্য গ্রিফিন-লিম অ্যালগরিদম ব্যবহার করি।
এই প্যাটার্নগুলো দীর্ঘস্থায়ী কম্পোজিশন তৈরি করতেও ব্যবহৃত হয়, যা সময়ের সাথে সাথে সামান্য পরিবর্তিত হওয়া পরপর কয়েকটি অংশ নিয়ে গঠিত। মডেলের অভ্যন্তরীণ প্যারামিটারগুলো ইন্টারপোলেট করার মাধ্যমে আলাদাভাবে তৈরি হওয়া খণ্ডাংশগুলোকে একটি অবিচ্ছিন্ন প্রবাহে একত্রিত করা হয়।
আমাদের স্পেকট্রোগ্রামের ফ্রিকোয়েন্সি বিনগুলি মেল স্কেল ব্যবহার করে, যা শ্রোতাদের দ্বারা একে অপরের থেকে একই দূরত্ব হিসাবে বিচার করা পিচগুলির একটি উপলব্ধিমূলক স্কেল।
নীচে একটি হাতে আঁকা ছবি একটি বর্ণালীগ্রাম হিসাবে ব্যাখ্যা করা হয়েছে এবং অডিওতে রূপান্তরিত হয়েছে৷ তারা কীভাবে কাজ করে তার জন্য একটি স্বজ্ঞাত অনুভূতি পেতে এটি খেলুন। লক্ষ্য করুন কিভাবে আপনি নিচের অর্ধেকের দুটি বক্ররেখার সুর শুনতে পাচ্ছেন এবং উপরের অর্ধেকের চারটি উল্লম্ব রেখা কীভাবে হাই-হ্যাট শব্দের মতো ছন্দ তৈরি করে।
একটি ফুরিয়ার ট্রান্সফর্ম (টাইম ডোমেন এবং ফ্রিকোয়েন্সি ডোমেনের মধ্যে সংকেত রূপান্তর করতে ব্যবহৃত একটি গাণিতিক রূপান্তর) শব্দ থেকে একটি বর্ণালীগ্রাম তৈরি করতে ব্যবহৃত হয়। একটি বর্ণালীগ্রাম থেকে শব্দ পুনরায় তৈরি করার সময়, ফেজ নির্ধারণে সমস্যা হয় (স্পেকট্রোগ্রামে শুধুমাত্র ফ্রিকোয়েন্সি এবং প্রশস্ততা উপস্থিত থাকে), যার পুনর্গঠনের জন্য গ্রিফিন-লিম আনুমানিক অ্যালগরিদম ব্যবহার করা হয়।
ইন্টারফেসটি টাইপস্ক্রিপ্টে তৈরি করা হয়েছে এবং এটি এমআইটি লাইসেন্সের অধীনে বিতরণ করা হয় । প্রশিক্ষিত মডেলগুলো বাণিজ্যিক ব্যবহারের জন্য উদার ক্রিয়েটিভ এমএল ওপেনরেইল-এম লাইসেন্সের অধীনে প্রকাশ করা হয়।
আপনি যদি এ সম্পর্কে আরও জানতে চান, তাহলে নিচের লিঙ্কে বিস্তারিত দেখে নিতে পারেন।