UTAUTAI

Utautai : 무제한 곡 자동화 기술 인공 상호성

readme

빠른 색인

• 모델 아키텍처
• ? utautai는 무엇입니까?
• ?방법
• ? TODO
• 감사
• 횡을 보이십시오
• ? 환영 기여

모델 아키텍처

? 손 드로우에 대해 죄송합니다

? utautai는 무엇입니까?

Suno AI의 Chirp 및 Riffusion과 유사한 가사에서 어울리는 보컬 및 악기 트랙을 생성하는 것을 목표로하는 오픈 소스 저장소.

?방법

Utautai의 방법은 주로 Spear tts에서 영감을 얻었습니다

훈련하는 동안 입력은 '가사 2Semantic AR'에서 얻은 시맨틱 토큰으로 구성되어 가사에서 시맨틱 토큰을 추출하고 음향 토큰을 추출합니다. 또한, 음악에서 파생 된 MERT 표현은 추가 의미 론적 토큰을 얻기 위해 K- 평균 양자화에 적용된다.

그러나 추론하는 동안 음악에서 Mert 표현을 얻을 수 없습니다. 따라서, 우리는 프롬프트 TTS2의 방법론에 따라 스타일 모듈을 훈련시켜 추론 중 프롬프트에서 대상 MERT 표현을 획득합니다. 스타일 모듈은 변압기 기반 확산 모델로 구성됩니다.

이 접근법을 사용하여 대상 작업을 성공적으로 달성 할 수 있다고 생각합니다. 어떻게 생각하나요?

? TODO

• 잘린 오디오와 일치하는 가사를 어떻게 얻을 수 있습니까? 아니면 처음에 오디오를 자르고 있어야합니까? 암호
• 음성화 및 특수 토큰의 취급을 검사하고 필요한 코드 수정을하십시오. 암호
• 데이터 세트에서 Collator를 수정하십시오. 암호
• 스타일 모드 추론 코드를 완료하십시오. 암호
• 마스킹 전략과 같은 다른 사소한 코드 수정.
• 확산 모델을 제거하고 일관성 모델을 조정하십시오.

감사

• 스피어 TTS 종이
• Vall-e 종이
• 주크 박스 종이
• 사운드 스토밍 종이
• Musiclm 종이
• 오디오 종이
• Musicgen 종이
• Prompttts2 종이
• Lucidrains의 Soundstorm Repo
• Soundstorm SpeciousTokenizer
• LifeIteng의 Vall-E
• Plachtaa의 Vall-Ex
• 짖다

횡을 보이십시오

Utautai가 흥미롭고 유용하다는 것을 알게되면 Github에 별을 줘! Ø 모델을 계속 개선하고 흥미로운 기능을 추가하도록 권장합니다.

? 환영 기여

기부금은 항상 환영합니다.