VoiceCloning

Modèle de clonage vocal avec TTS basé sur l'attention zéro

L'IA utilisée dans cette API est la mise en œuvre TTS multispeaker de votre modélisation audio générative.

Le document qui a proposé le modèle YOTTTS a été utilisé comme élément de construction central de l'API. YourTTS pour une approche multilingue pour les TT multi-partenaires à tirs zéro qui peuvent être utilisés sur des données audio multilingues tout en construisant des approches de VITS plus anciennes.

Les implémentations de référence utilisées pour étudier les concepts TTS peuvent être trouvées ici

Les modèles recherchés sous open source comme indiqué de Coqui

Modèle	URL
Encodeur de haut-parleur	lien
Exp 1. Yourtts-en (vctk)	lien
Exp 1. Yourtts-en (vctk) + SCL	lien
Exp 2. Yourtts-en (vctk) -pt	lien
Exp 2. Yourtts-en (vctk) -pt + scl	lien
Exp 3. Yourtts-en (vctk) -pt-fr	lien
Exp 3. Yourtts-en (vctk) -pt-fr scl	lien
Exp 4. Yourtts-en (vctk + libritts) -pt-fr scl	lien

TTS Retourne les données

Les audios pour les MO sont disponibles ici. De plus, les MOS sont ici.

Sources audio TTS par défaut:

Libritts (Test Clean): 1188, 1995, 260, 1284, 2300, 237, 908, 1580, 121 et 1089

VCTK: p261, p225, p294, p347, p238, p234, p248, p335, p245, p326 et p302

MLS Portugais: 12710, 5677, 12249, 12287, 9351, 11995, 7925, 3050, 4367 et 1306

Citation

@ARTICLE{2021arXiv211202418C,
  author = {{Casanova}, Edresson and {Weber}, Julian and {Shulby}, Christopher and {Junior}, Arnaldo Candido and {G{"o}lge}, Eren and {Antonelli Ponti}, Moacir},
  title = "{YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone}",
  journal = {arXiv e-prints},
  keywords = {Computer Science - Sound, Computer Science - Computation and Language, Electrical Engineering and Systems Science - Audio and Speech Processing},
  year = 2021,
  month = dec,
  eid = {arXiv:2112.02418},
  pages = {arXiv:2112.02418},
  archivePrefix = {arXiv},
  eprint = {2112.02418},
  primaryClass = {cs.SD},
  adsurl = {https://ui.adsabs.harvard.edu/abs/2021arXiv211202418C},
  adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}