VoiceCloning

제로 샷주의 기반 TTS를 가진 음성 클로닝 모델

이 API에 사용 된 AI는 생성 오디오 모델링의 YourTts Zero-Shot Multispeaker TTS 구현입니다.

YourTTS 모델을 제안한 논문은 API의 중앙 빌딩 블록으로 사용되었습니다. 구형 Vits 접근 방식을 구축하는 동안 다국어 오디오 데이터에 활용할 수있는 제로 샷 멀티 스피커 TT에 대한 다국어 접근 방식을위한 Yourtts.

TTS 개념을 연구하는 데 사용되는 참조 구현은 여기에서 찾을 수 있습니다.

Coqui에서 제공 한 오픈 소스 아래에서 연구 된 모델

모델	URL
스피커 인코더	링크
Exp 1. Yourtts-en (VCTK)	링크
Exp 1. Yourtts-en (VCTK) + SCL	링크
Exp 2. Yourtts-en (vctk) -pt	링크
Exp 2. Yourtts-en (vctk) -pt + scl	링크
Exp 3. Yourtts-en (vctk) -pt-fr	링크
Exp 3. Yourtts-en (VCTK) -PT-FR SCL	링크
Exp 4. Yourtts-en (vctk+libritts) -pt-fr scl	링크

TTS 재 훈련 데이터

MOS의 오디오는 여기에서 제공됩니다. 또한 오디오가 여기에 있습니다.

기본 TTS 오디오 소스 :

Libritts (Test Clean) : 1188, 1995, 260, 1284, 2300, 237, 908, 1580, 121 및 1089

VCTK : p261, p225, p294, p347, p238, p234, p248, p335, p245, p326 및 p302

MLS 포르투갈어 : 12710, 5677, 12249, 12287, 9351, 11995, 7925, 3050, 4367 및 1306

소환

@ARTICLE{2021arXiv211202418C,
  author = {{Casanova}, Edresson and {Weber}, Julian and {Shulby}, Christopher and {Junior}, Arnaldo Candido and {G{"o}lge}, Eren and {Antonelli Ponti}, Moacir},
  title = "{YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone}",
  journal = {arXiv e-prints},
  keywords = {Computer Science - Sound, Computer Science - Computation and Language, Electrical Engineering and Systems Science - Audio and Speech Processing},
  year = 2021,
  month = dec,
  eid = {arXiv:2112.02418},
  pages = {arXiv:2112.02418},
  archivePrefix = {arXiv},
  eprint = {2112.02418},
  primaryClass = {cs.SD},
  adsurl = {https://ui.adsabs.harvard.edu/abs/2021arXiv211202418C},
  adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}