End to End TTS Fine Tune

Fine-tune TTS end-to-end

Perkenalan

• Proyek ini bertujuan untuk mengembangkan sistem TTS ' AI Assistant for Seniors '. Anda dapat membuat asisten kecerdasan buatan dengan suara keluarga atau teman dan kekasih dengan hanya 5 menit rekaman suara.
• Untuk mengatasi pembicara AI yang membutuhkan penciptaan real-time, kami mengadopsi model akustik non-otegresif FastSpe2 dan model Vocoder berbasis GAN HIFI-GAN untuk mempertimbangkan kecepatan dan kecepatan produksi.
• Bea cukai tambahan telah dilakukan untuk meningkatkan kinerja multi-speaker.
• Repositori ini dikonfigurasi untuk hanya melakukan proses pembelajaran dan pembuatan dengan memanfaatkan scrip shell untuk mengonfigurasi multi speaker D-vektor FastSpeech2 dan model HiFi-Gan untuk memungkinkan fine-tune.
• Untuk memberikan TTS -Time di aplikasi, gunakan FastAPI untuk mengonfigurasi server dan tautan dengan backend.

Tujuan proyek

1. Akustik-fastspeech2 (khusus)

2. Kinerja yang wajar dengan memanfaatkan pembelajaran transfer untuk personalisasi dengan sejumlah kecil data

3. Menyediakan API yang dapat dibuat dengan fine-tune dalam kumpulan data Korea secara real time

Dataset

• Menurut fine_tune_transcript.txt milik folder dataset, merekam 100 kalimat dengan nomor dengan smartphone dan mengonversi file M4A ke file WAV dengan tingkat pengambilan sampel 16000. (FFMPEG)

• Seperti yang ditunjukkan pada gambar, 100 file WAV yang dikonversi ditambahkan ke folder awal Anda.

Kontribusi

1. Modifikasi kode model menurut fine-tune

   • Fastspeech2 dan modifikasi dan integrasi HIFI-GAN
   • Dataset, CKPT, dan Direktori Hasil dibagi menjadi direktori tingkat atas berdasarkan dataset

2. Preprocess mudah, kereta api, sintesis melalui skrip shell

   • Dengan mengubah direktori dataset

3. Berikan gambar Docker yang unik

   • Berikan gambar yang dapat dilakukan segera tanpa menambahkan paket ketergantungan tambahan yang kompleks
   • Impor Gambar Terbaru Melalui Tautan Hub Docker

Pekerjaan yang lama

• Ini cocok dengan nama file FastSpeech2 dan HiFi-Gan pra-terlatih CKPT dan menyimpannya di setiap model.

  (FastSpeech2: 30.000 Langkah Pembelajaran / HiFi -Gan -Jungil King's Resmi Pretated -University -University)

• Untuk belajar dan sintesis, kami memuat dan menjalankan gambar Docker yang berisi semua paket dependen.

   docker pull hws0120/e2e_speech_synthesis 
  

• Langkah -langkah run_fs2_preprocessing.sh terhubung ke Docker dengan perintah conda dan menginstal paket python jamo.

   conda activate aligner
  pip install jamo
  

• Akhir lingkungan virtual untuk melakukan run_fs2_train atau sintesis.

   conda activate base
  

Preprocessing

• Jika Anda memenuhi semua item di atas, jalankan skrip shell untuk mengekstrak MFA.

   sh run_FS2_preprocessing.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

Kereta

• Berhasil membuat TextGrid untuk keluar dari lingkungan virtual dan menjalankan skrip pembelajaran.

   sh run_FS2_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

• Ketika FastSpeech2 5000 Step Learning selesai, jalankan skrip HIFI-GAN.

   sh run_HiFi-GAN_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

Mempersatukan

• Ketika model yang dipelajari di folder CKPT siap, jalankan skrip untuk sintesis.

   sh run_FS2_synthesize.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

Pipa Proyek

Setiap wadah ditetapkan dalam proses pembelajaran dan sintesis dan proses seperti yang ditunjukkan.

Jika Anda memiliki pos pemeriksaan HIFI-GAN yang sesuai, Anda dapat menghilangkan pembelajaran HiFi-Gan.