XphoneBert_Vits2

Vits2 diperpanjang dengan encoder xphone

Kredit

• Repo ini berdasarkan karya hebat Repo Vits2 dan XphoneBert.

Prasyarat

1. Python> = 3.10
2. Diuji pada Pytorch versi 1.13.1 dengan Google Colab dan Lambdalabs Cloud.
3. Kloning repositori ini
4. Pasang persyaratan Python. Silakan merujuk persyaratan.txt
5. Unduh set data
   1. Unduh dan Ekstrak Dataset Pidato LJ, lalu ganti nama atau buat tautan ke folder Dataset: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. Catatan: Repo ini tidak mendukung pelatihan Dataset Multi-Speaker
6. Pindahkan/Salin Pelatihan .txt, validasi, dan uji file Anda ke direktori FileLists, dan kemudian jalankan file preprocess.py (mirip dengan yang dijalankan untuk dataset LJSPEECH), misalnya:

   • Silakan merujuk ke XphoneBert untuk informasi lebih lanjut. Mereka menggunakan text2phonemesequence untuk mengubah teks mentah menjadi urutan fonem.

   • Menginisialisasi text2phonemesequence untuk setiap bahasa membutuhkan kode ISO 639-3 yang sesuai. Kode ISO 639-3 dari bahasa yang didukung tersedia di sini.

   • text2phonemesequence mengambil urutan yang disegmentasi kata sebagai input. Dan pengguna juga dapat melakukan normalisasi teks pada urutan yang disegmentasi kata sebelum dimasukkan ke dalam text2phonemesequence .

• Catatan: Untuk bahasa seperti bahasa Cina, Korea, Jepang (bahasa CJK) dan beberapa bahasa Asia Tenggara, kata -kata tidak dipisahkan oleh ruang. Tokenizer eksternal harus digunakan sebelum memasukkan kata -kata ke dalam model ini. Dalam hal ini, tulis skrip untuk menormalkan dan segmen input Anda sebelum memberi makan ke text2phonemesequence (vie_preprocess.py ada dalam kasus saya)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. Bangun pencarian penyelarasan monotonik dan jalankan preprocessing jika Anda menggunakan set data Anda sendiri.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

Contoh pelatihan

Info lebih lanjut tentang konfigurasi merujuk ke configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base