NATSpeech

Natspeech: un marco de texto a voz no autorgresivo

| | 中文文档

Este repositorio contiene implementación oficial de Pytorch de:

• Portaspech: texto a voz portátil y de alta calidad (Neurips 2021)
  Página de demostración | ¿Huggingface? Manifestación
• Diffsinger: síntesis de voz de canto a través del mecanismo de difusión poco profundo (diffspeech) (AAAI 2022)
  Página de demostración | Página del proyecto | ¿Huggingface? Manifestación

Características clave

Implementamos las siguientes funciones en este marco:

• Procesamiento de datos para texto a discurso no autorgresivo utilizando Montreal Fored Aligner.
• Marco conveniente y escalable para capacitación e inferencia.
• Implementación de conjunto de datos de acceso aleatorio simple pero eficiente.

Instalar dependencias

 # # We tested on Linux/Ubuntu 18.04. 
# # Install Python 3.6+ first (Anaconda recommended).

export PYTHONPATH=.
# build a virtual env (recommended).
python -m venv venv
source venv/bin/activate
# install requirements.
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0 # torch >= 1.9.0 recommended
pip install -r requirements.txt
sudo apt install -y sox libsox-fmt-mp3
bash mfa_usr/install_mfa.sh # install forced alignment tool 

Documentos

• Sobre el marco
• Ejecutar Portaspech
• Ejecutar Diffspeech

Citación

Si encuentra esto útil para su investigación, cite los siguientes documentos:

• Portapeez

 @article { ren2021portaspeech ,
  title = { PortaSpeech: Portable and High-Quality Generative Text-to-Speech } ,
  author = { Ren, Yi and Liu, Jinglin and Zhao, Zhou } ,
  journal = { Advances in Neural Information Processing Systems } ,
  volume = { 34 } ,
  year = { 2021 }
}

• Disimulación

 @article { liu2021diffsinger ,
  title = { Diffsinger: Singing voice synthesis via shallow diffusion mechanism } ,
  author = { Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou } ,
  journal = { arXiv preprint arXiv:2105.02446 } ,
  volume = { 2 } ,
  year = { 2021 }
 }

Expresiones de gratitud

Nuestros códigos están influenciados por los siguientes Repos:

• Pytorch Lightning
• Paralelo
• Hifi-gan
• ESPNET
• Brillo
• Disimulación

Licencia y acuerdo

Cualquier organización o individuo tiene prohibido usar cualquier tecnología mencionada en este documento para generar el discurso de alguien sin su consentimiento, incluidos, entre otros, líderes gubernamentales, figuras políticas y celebridades. Si no cumple con este artículo, podría violar las leyes de derechos de autor.