NATSpeech

NATSPEECH: Kerangka kerja teks-ke-kebiasaan non-otefresif

| | 中文文档

Repo ini berisi implementasi Pytorch resmi dari:

• Portaspeech: Text-to-speech generatif portabel dan berkualitas tinggi (Neurips 2021)
  Halaman demo | Huggingface? Demo
• Diffsinger: Sintesis Suara Bernyanyi melalui Mekanisme Difusi Dangkal (Diffspeech) (AAAI 2022)
  Halaman demo | Halaman Proyek | Huggingface? Demo

Fitur utama

Kami mengimplementasikan fitur -fitur berikut dalam kerangka ini:

• Pemrosesan data untuk teks-ke-speech non-autoregresif menggunakan Montreal Forced Aligner.
• Kerangka kerja yang nyaman dan dapat diskalakan untuk pelatihan dan inferensi.
• Implementasi dataset akses acak yang sederhana namun efisien.

Instal dependensi

 # # We tested on Linux/Ubuntu 18.04. 
# # Install Python 3.6+ first (Anaconda recommended).

export PYTHONPATH=.
# build a virtual env (recommended).
python -m venv venv
source venv/bin/activate
# install requirements.
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0 # torch >= 1.9.0 recommended
pip install -r requirements.txt
sudo apt install -y sox libsox-fmt-mp3
bash mfa_usr/install_mfa.sh # install forced alignment tool 

Dokumen

• Tentang kerangka kerja
• Jalankan portaspeech
• Jalankan difspeech

Kutipan

Jika Anda menemukan ini berguna untuk penelitian Anda, silakan kutip makalah berikut:

• Portaspeech

 @article { ren2021portaspeech ,
  title = { PortaSpeech: Portable and High-Quality Generative Text-to-Speech } ,
  author = { Ren, Yi and Liu, Jinglin and Zhao, Zhou } ,
  journal = { Advances in Neural Information Processing Systems } ,
  volume = { 34 } ,
  year = { 2021 }
}

• Diffspeech

 @article { liu2021diffsinger ,
  title = { Diffsinger: Singing voice synthesis via shallow diffusion mechanism } ,
  author = { Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou } ,
  journal = { arXiv preprint arXiv:2105.02446 } ,
  volume = { 2 } ,
  year = { 2021 }
 }

Ucapan Terima Kasih

Kode kami dipengaruhi oleh repo berikut:

• Petir Pytorch
• Parallelwavegan
• Hifi-gan
• Espnet
• Glow-tts
• Diffspeech

Lisensi dan Perjanjian

Setiap organisasi atau individu dilarang menggunakan teknologi apa pun yang disebutkan dalam makalah ini untuk menghasilkan pidato seseorang tanpa persetujuannya, termasuk tetapi tidak terbatas pada para pemimpin pemerintah, tokoh politik, dan selebriti. Jika Anda tidak mematuhi item ini, Anda bisa melanggar undang -undang hak cipta.