Riffusion은 음악 합성에 적합한 안정적인 확산 기계 학습 시스템입니다.
'리퓨전(Riffusion)'이라는 새로운 프로젝트가 발표되었습니다. 이 프로젝트는 이미지 대신 음악을 생성하도록 설계된 안정 확산(Stable Diffusion) 머신러닝 시스템의 변형을 개발합니다 . 생성된 음악은 제안된 템플릿이나 자연어 텍스트 설명을 기반으로 합성될 수 있습니다.
음악 합성 구성 요소는 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스에 따라 사용할 수 있습니다.
이 프로젝트는 음악 생성에 "텍스트-이미지" 및 "이미지-이미지" 모델을 계속 사용하면서도 스펙트로그램을 마치 이미지처럼 조작한다는 점에서 흥미롭습니다.
다시 말해, 고전적인 안정 확산(Stable Diffusion)은 사진이나 이미지가 아니라 시간에 따른 음파의 주파수와 진폭 변화를 나타내는 스펙트로그램 이미지를 기반으로 합니다. 따라서 출력에서도 스펙트로그램이 생성되고, 이것이 다시 오디오 신호로 변환됩니다.
이것은 수정이 없는 v1.5 안정 확산 모델이며 텍스트 쌍 스펙트로그램 이미지에 적합합니다. 오디오 처리는 모델의 다운스트림에서 발생합니다.
시드를 변경하여 광고의 무한한 변형을 생성할 수 있습니다. img2img, 인페인팅, 네거티브 표시 및 보간과 같은 모든 동일한 웹 사용자 인터페이스 및 기술이 기본적으로 작동합니다.
스펙트로그램
오디오 스펙트로그램은 사운드 클립의 주파수 콘텐츠를 시각적으로 나타내는 방법입니다. x축은 시간을 나타내고 y축은 주파수를 나타냅니다. 각 픽셀의 색상은 해당 행과 열에 지정된 주파수와 시간에서 오디오의 진폭을 나타냅니다.
이 방법은 안정 확산(Stable Diffusion)에서의 이미지 수정과 유사하게 기존 음향 구성을 수정하고 샘플 음악을 합성하는 데에도 사용할 수 있다고 언급되어 있습니다 .
예를 들어, 세대는 샘플 스펙트로그램을 참조 스타일로 설정하고, 서로 다른 스타일을 결합하고, 한 스타일에서 다른 스타일로 부드럽게 전환하거나 기존 사운드를 변경하여 개별 악기의 볼륨을 높이고 리듬 및 교체를 변경하는 것과 같은 문제를 해결할 수 있습니다. 악기의.
STFT는 가역적이므로 스펙트로그램에서 원본 오디오를 재구성할 수 있습니다. 그러나 우리 모델의 스펙트로그램 이미지에는 사인파의 진폭만 포함되고 위상은 포함되지 않습니다. 위상이 혼란스럽고 학습하기 어렵기 때문입니다. 대신 오디오 클립을 재구성할 때 Griffin-Lim 알고리즘을 사용하여 위상을 근사화합니다.
이러한 패턴은 또한 시간 경과에 따라 약간씩 변화하는 일련의 짧은 악절들로 구성된 장시간 지속되는 음악을 생성하는 데 사용됩니다. 개별적으로 생성된 조각들은 모델의 내부 매개변수를 보간하여 연속적인 흐름으로 결합됩니다.
스펙트로그램의 주파수 빈은 청취자가 서로 같은 거리에 있다고 판단하는 음조의 지각 척도인 Mel 척도를 사용합니다.
아래는 스펙트로그램으로 해석되고 오디오로 변환된 손으로 그린 이미지입니다. 작동 방식에 대한 직관적인 느낌을 얻기 위해 플레이해 보십시오. 하반부에서 두 곡선의 톤을 어떻게 들을 수 있는지, 그리고 상반부에서 XNUMX개의 수직선이 어떻게 하이햇 사운드와 유사한 리듬을 생성하는지 주목하십시오.
푸리에 변환(시간 영역과 주파수 영역 사이에서 신호를 변환하는 데 사용되는 수학적 변환)은 사운드에서 스펙트로그램을 생성하는 데 사용됩니다. 스펙트로그램에서 사운드를 재현할 때 Griffin-Lim 근사 알고리즘을 사용하여 재구성하는 위상 결정(스펙트로그램에는 주파수와 진폭만 있음)에 문제가 있습니다.
인터페이스는 TypeScript로 구현되었으며 MIT 라이선스에 따라 배포됩니다 . 학습된 모델은 상업적 사용을 위한 관대한 Creative ML OpenRAIL-M 라이선스에 따라 공개됩니다.
더 자세한 내용을 알고 싶으시면 다음 링크에서 확인하실 수 있습니다.