ZeroSpeech TTS without T

Zerospeech 2019: TTS TANPA T - PYTORCH

• Ini adalah kode sumber asli untuk makalah "Pembelajaran ujung ke ujung yang tidak diawasi dari unit linguistik diskrit untuk konversi suara", yang diterima oleh Interspeech 2019.
• Feururmore, kami menggunakan implementasi ini untuk bersaing dalam tantangan Zerospeech 2019. Pada papan peringkat dataset kejutan, metode yang diusulkan adalah tempat ^ke -2 dalam hal bitrate rendah , sambil mencapai skor opini rata -rata yang lebih tinggi (MOS) dan CER yang lebih rendah daripada tim 1 ^St Place .
• Jangan ragu untuk menggunakan atau memodifikasinya, laporan bug atau saran peningkatan apa pun akan dihargai. Jika Anda memiliki pertanyaan, silakan hubungi [email protected]. Jika Anda menemukan proyek ini bermanfaat untuk penelitian Anda, silakan pertimbangkan untuk mengutip makalah ini, terima kasih!

Awal yang cepat

Pengaturan

• Klon repo ini: git clone [email protected]:andi611/ZeroSpeech-TTS-without-T.git
• CD ke repo ini: cd ZeroSpeech-TTS-without-T

Menginstal dependensi

1. Pasang Python 3.

2. Instal versi terbaru Pytorch sesuai dengan platform Anda. Untuk kinerja yang lebih baik, instal dengan dukungan GPU (CUDA) jika layak. Kode ini berfungsi dengan Pytorch 0.4 dan yang lebih baru.

Menyiapkan data

1. Unduh dataset Zerospeech.

   • Dataset Bahasa Inggris:

    wget https://download.zerospeech.com/2019/english.tgz
   tar xvfz english.tgz -C data
   rm -f english.tgz
   

   • Dataset kejutan:

    wget https://download.zerospeech.com/2019/surprise.zip
   # Go to https://download.zerospeech.com  and accept the licence agreement 
   # to get the password protecting the archive
   unzip surprise.zip -d data
   rm -f surprise.zip
   

2. Setelah membongkar dataset menjadi ~/ZeroSpeech-TTS-without-T/data , pohon data akan terlihat seperti ini:

    |- ZeroSpeech-TTS-without-T
   	 |- data
   		 |- english
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   		|- surprise
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   

3. Preprocess Dataset dan sampel file indeks siap-model:

    python3 main.py --preprocess —-remake
   

Penggunaan

Pelatihan

1. Latih model autoencoder ASR-TTS untuk penemuan unit linguistik diskrit:

    python3 main.py --train_ae
   

   Hyperparameter yang dapat disetel dapat ditemukan di HPS/Zerospeech.json. Anda dapat menyesuaikan parameter ini dan pengaturan dengan mengedit file, hyperparameter default direkomendasikan untuk proyek ini.

2. Latih TTS Patcher untuk meningkatkan kinerja konversi suara:

    python3 main.py --train_p --load_model --load_train_model_name=model.pth-ae-400000
   

3. Latih TTS Patcher dengan pelatihan permusuhan yang dipandu target:

    python3 main.py --train_tgat --load_model --load_train_model_name=model.pth-ae-400000
   

4. Monitor dengan Tensorboard (Opsional)

    tensorboard --logdir='path to log dir'
   or
   python3 -m tensorboard.main --logdir='path to log dir'
   

Pengujian

1. Tes pada satu pidato ::

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000
   

2. Tes pada 'sintesis.txt' dan menghasilkan file audio yang disintesis ::

    python3 main.py --test --load_test_model_name=model.pth-ae-200000
   

3. Tes pada semua pidato pengujian yang test/ dan hasilkan file pengkodean ::

    python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000
   

4. Tambahkan --enc_only jika hanya pengujian dengan Autoencoder ASR-TTS:

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000 --enc_only
   

Beralih di antara dataset

1. Cukup gunakan --dataset=surprise untuk beralih ke set alternatif default, semua jalur ditangani secara otomatis jika struktur pohon data ditempatkan seperti yang disarankan. Misalnya:

    python3 main.py --train_ae --dataset=surprise
   

Model terlatih

1. Kami menyediakan model terlatih sebagai file CKPT, tautan DONWLOAD: bit.ly/zerospeech2019-liu
2. Muat ulang model untuk pelatihan:

    --load_train_model_name=model.pth-ae-400000-128-multi-1024-english
   

   ( --ckpt_dir=./ckpt_english atau --ckpt_dir=./ckpt_surprise secara default).
3. 2 cara memuat model untuk pengujian:

    --load_test_model_name=model.pth-ae-400000-128-multi-1024-english (by name)
   --ckpt_pth=ckpt/model.pth-ae-400000-128-multi-1024-english (direct path)
   

4. Peduli bahwa HPS/Zerospeech.json perlu ditetapkan sesuai dengan model yang Anda muat. Jika model 128-multi-1024 sedang dimuat, seg_len dan enc_size harus diatur masing-masing ke 128 dan 1024. Jika model ae sedang dimuat, argumen --enc_only harus digunakan saat menjalankan main.py (lihat 4. Di bagian pengujian).

Catatan

• Kode ini mencakup semua pengaturan dan metode yang telah kami uji untuk tantangan ini, beberapa di antaranya tidak berhasil tetapi kami tidak menghapusnya dari kode kami. Namun, instruksi sebelumnya dan pengaturan default adalah untuk metode yang kami usulkan. Dengan menjalankannya, seseorang dapat dengan mudah mereproduksi hasil kami.
• Todo: Unggah model pra-terlatih

Kutipan

 @article{Liu_2019,
   title={Unsupervised End-to-End Learning of Discrete Linguistic Units for Voice Conversion},
   url={http://dx.doi.org/10.21437/interspeech.2019-2048},
   DOI={10.21437/interspeech.2019-2048},
   journal={Interspeech 2019},
   publisher={ISCA},
   author={Liu, Andy T. and Hsu, Po-chun and Lee, Hung-Yi},
   year={2019},
   month={Sep}
}