VoiceCloning

Modelo de clonagem de voz com TTS baseado em atenção zero

A IA usada nesta API é a implementação TTS multispeaker de tiro zero do YourTTS da modelagem generativa de áudio.

O artigo que propôs o modelo do seutts foi usado como um bloco de construção central da API. YourTTs para uma abordagem multilíngue para TTS multi-falante zero, que podem ser utilizados em dados multilíngues de áudio enquanto se desenvolve em abordagens de VITs mais antigas.

As implementações de referência usadas para estudar conceitos de TTS podem ser encontradas aqui

Os modelos pesquisados ​​em código aberto, conforme previsto em Coqui

Modelo	Url
Codificador de alto -falante	link
Exp 1. Yourtts-en (vctk)	link
Exp 1. Yourtts-en (vctk) + SCL	link
Exp 2. Yourtts-en (vctk) -pt	link
Exp 2. Yourtts-en (vctk) -pt + SCL	link
Exp 3. Yourtts-en (vctk) -pt-fr	link
Exp 3. Yourtts-en (vctk) -Pt-FR SCL	link
Exp 4	link

Dados de reciclagem de TTS

Os áudios para o MOS estão disponíveis aqui. Além disso, o MOS os áudios estão aqui.

Fontes de áudio TTS padrão:

Libritts (teste limpo): 1188, 1995, 260, 1284, 2300, 237, 908, 1580, 121 e 1089

VCTK: P261, P225, P294, P347, P238, P234, P248, P335, P245, P326 e P302

MLS português: 12710, 5677, 12249, 12287, 9351, 11995, 7925, 3050, 4367 e 1306

Citação

@ARTICLE{2021arXiv211202418C,
  author = {{Casanova}, Edresson and {Weber}, Julian and {Shulby}, Christopher and {Junior}, Arnaldo Candido and {G{"o}lge}, Eren and {Antonelli Ponti}, Moacir},
  title = "{YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone}",
  journal = {arXiv e-prints},
  keywords = {Computer Science - Sound, Computer Science - Computation and Language, Electrical Engineering and Systems Science - Audio and Speech Processing},
  year = 2021,
  month = dec,
  eid = {arXiv:2112.02418},
  pages = {arXiv:2112.02418},
  archivePrefix = {arXiv},
  eprint = {2112.02418},
  primaryClass = {cs.SD},
  adsurl = {https://ui.adsabs.harvard.edu/abs/2021arXiv211202418C},
  adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}