tacotron2 tts GUI

GUI Work In Progress (Update 4 Agustus 2020)

Pembungkus GUI untuk disintesis. Memungkinkan sintesis khusus CPU melalui sakelar yang dapat diaktifkan. File EXE portabel tersedia (yang hanya berjalan pada CPU).

Juga memainkan peringatan donasi TTS dari elemen aliran.

UI utama	Integrasi Elemen Stream

Ringkasan

Program Teks Berbasis Pembelajaran Mesin ke Program Bicara dengan GUI yang ramah pengguna. Target audiens termasuk streamer Twitch atau pembuat konten yang mencari program TTS open source. Tujuan dari perangkat lunak ini adalah untuk membuat sintesis TTS dapat diakses secara offline (tidak ada pengalaman pengkodean, GPU/COLAB) di EXE portabel.

Fitur

• Membaca sumbangan dari elemen aliran secara otomatis
• Pembungkus PYQT5 untuk NVIDIA /TACOTRON2 & /WAVEGLOW

Tautan unduh

Eksekusi portabel dapat ditemukan di halaman rilis, atau langsung di sini. Unduh model Tacotron 2 dan Waveglow pretrained dari bawah.

PERINGATAN: Portable Executable berjalan pada CPU yang mengarah ke perlambatan kecepatan> 10x dibandingkan dengan menjalankannya di GPU.

Membangun dari sumber

Persyaratan

• Python> = 3.7
• librosa
• Numpy
• Pyqt5 == 5.15.0
• permintaan
• TQDM
• matplotlib
• SCIPY
• num2words
• Pygame

Pytorch 1.0

Untuk berlari

 python gui.py

Lisensi

• NVIDIA/TACOTRON2 & WAVEGLOW: Lisensi BSD-3-Clause

Catatan

• Kode TTS dari NVIDIA/TACOTRON2
• Kode GUI parsial dari https://github.com/corentinj/real-time-voice-cloning dan tata letak yang diilhami oleh U/RealStreamer's Forsen Tts https://www.youtube.com/watch?v=Kl2tglbcdco

Repo asli:

Tacotron 2 (tanpa Wavenet)

Implementasi PyTorch dari sintesis TTS alami dengan mengondisikan Wavenet pada prediksi spektrogram MEL.

Implementasi ini mencakup dukungan presisi campuran yang didistribusikan dan otomatis dan menggunakan dataset LJSPEECH.

Dukungan presisi campuran yang didistribusikan dan otomatis bergantung pada puncak dan amp NVIDIA.

Kunjungi situs web kami untuk sampel audio menggunakan model Tacotron 2 dan Waveglow yang diterbitkan.

Prasyarat

1. Nvidia gpu + cuda cudnn

Pengaturan

1. Unduh dan Ekstrak Dataset Pidato LJ
2. Klone repo ini: git clone https://github.com/NVIDIA/tacotron2.git
3. CD ke repo ini: cd tacotron2
4. Inisialisasi Submodule: git submodule init; git submodule update
5. UPDATE .WAV PATHS: sed -i -- 's,DUMMY,ljs_dataset_folder/wavs,g' filelists/*.txt
   • Atau, atur load_mel_from_disk=True di hparams.py dan perbarui jalur Mel-Spectrogram
6. Instal Pytorch 1.0
7. Instal Apex
8. Instal Persyaratan Python atau Bangun Gambar Docker
   • Instal Persyaratan Python: pip install -r requirements.txt

Pelatihan

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Opsional) tensorboard --logdir=outdir/logdir

Berlatih menggunakan model pra-terlatih

Pelatihan Menggunakan model pra-terlatih dapat menyebabkan konvergensi yang lebih cepat secara default, lapisan embedding teks yang bergantung pada dataset diabaikan

1. Unduh model Tacotron 2 kami yang diterbitkan
2. python train.py --output_directory=outdir --log_directory=logdir -c tacotron2_statedict.pt --warm_start

Multi-GPU (terdistribusi) dan pelatihan presisi campuran otomatis

1. python -m multiproc train.py --output_directory=outdir --log_directory=logdir --hparams=distributed_run=True,fp16_run=True

Demo inferensi

1. Unduh model Tacotron 2 kami yang diterbitkan
2. Unduh model Waveglow kami yang diterbitkan
3. jupyter notebook --ip=127.0.0.1 --port=31337
4. Muat inferensi.ipynb

NB Saat melakukan Mel-spectrogram ke sintesis audio, pastikan Tacotron 2 dan Decoder Mel dilatih pada representasi Mel-spectrogram yang sama.

Repo terkait

Waveglow lebih cepat dari jaringan generatif berbasis aliran waktu nyata untuk sintesis ucapan

NV-Wavenet lebih cepat dari Wavenet waktu nyata.

Ucapan Terima Kasih

Implementasi ini menggunakan kode dari repo berikut: Keith Ito, Prem Seetharaman seperti yang dijelaskan dalam kode kami.

Kami terinspirasi oleh implementasi Tacotron Pytorch Ryuchi Yamamoto.

Kami berterima kasih kepada penulis kertas Tacotron 2, khususnya Jonathan Shen, Yuxuan Wang dan Zongheng Yang.