NATSpeech

NATSPEECH: Un cadre de texte vocale non autorégressif

| | 中文文档

Ce dépôt contient la mise en œuvre officielle de Pytorch de:

• PortaspaseEech: Texte à dispection génératif portable et de haute qualité (Neirips 2021)
  Page de démonstration | Houggingface? Démo
• Diffsinger: Singing vocal Synthesis via un mécanisme de diffusion superficiel (diffech) (AAAI 2022)
  Page de démonstration | Page du projet | Houggingface? Démo

Caractéristiques clés

Nous implémentons les fonctionnalités suivantes dans ce cadre:

• Traitement des données pour le texte vocable non autorégressif à l'aide de l'aligneur forcé de Montréal.
• Cadre pratique et évolutif pour la formation et l'inférence.
• Implémentation de jeu de données à accès aléatoire simple mais efficace.

Installer des dépendances

 # # We tested on Linux/Ubuntu 18.04. 
# # Install Python 3.6+ first (Anaconda recommended).

export PYTHONPATH=.
# build a virtual env (recommended).
python -m venv venv
source venv/bin/activate
# install requirements.
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0 # torch >= 1.9.0 recommended
pip install -r requirements.txt
sudo apt install -y sox libsox-fmt-mp3
bash mfa_usr/install_mfa.sh # install forced alignment tool 

Documents

• À propos du cadre
• Exécuter Portaspaspeeche
• Exécuter la diffspeech

Citation

Si vous trouvez cela utile pour vos recherches, veuillez citer les articles suivants:

• Portaspaspeenech

 @article { ren2021portaspeech ,
  title = { PortaSpeech: Portable and High-Quality Generative Text-to-Speech } ,
  author = { Ren, Yi and Liu, Jinglin and Zhao, Zhou } ,
  journal = { Advances in Neural Information Processing Systems } ,
  volume = { 34 } ,
  year = { 2021 }
}

• Diffspeech

 @article { liu2021diffsinger ,
  title = { Diffsinger: Singing voice synthesis via shallow diffusion mechanism } ,
  author = { Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou } ,
  journal = { arXiv preprint arXiv:2105.02446 } ,
  volume = { 2 } ,
  year = { 2021 }
 }

Remerciements

Nos codes sont influencés par les références suivantes:

• Foudre pytorch
• Parallèlewavegan
• Hifi-gan
• ESPNET
• Brillant
• Diffspeech

Licence et accord

Toute organisation ou individu est interdit d'utiliser toute technologie mentionnée dans ce document pour générer le discours de quelqu'un sans son consentement, y compris, mais sans s'y limiter, les dirigeants du gouvernement, les personnalités politiques et les célébrités. Si vous ne respectez pas cet élément, vous pourriez violer les lois sur le droit d'auteur.