shanghainese tts

TTS SHANGHAIN

• Dartmouth Ling 48 Proyek Akhir: Meningkatkan TT untuk Shanghainese
• Yuanhao Chen [email protected] Spring 2023

Sasaran

Untuk membangun sistem Text-to-Speech (TTS) untuk Shanghain dari awal, berusaha untuk meningkatkan produksi nada Sandhi dibandingkan dengan model yang ada dengan memberikan perhatian khusus pada preprocessing teks.

Keterangan

Lihat writeup/main.pdf.

Dependensi

pip install -r phonemisation/requirements.txt
pip install -r speech_synthesis/requirements.txt
pip install -r comparison_questionnaire/requirements.txt  # for analysis of questionnaire results 

Penggunaan

Lihat speech_synthesis/README.md .

Struktur

• phonemisation/ : Berisi modul fonemisasi
  • Lihat Penjelasan Output dalam phonemisation/__init__.py
  • Penggunaan: python -m phonemisation "text to phonemise"
  • Mekanisme: Kalimat Cina - Segmentasi Kata ⟶ Kata -kata Cina - Romanisasi ⟶ Shanghainese Pinyin - Fonemisation ⟶ Fonem Shanghainese
    • jieba digunakan untuk segmentasi kata
    • Kamus Shanghain yang sebelumnya saya buat digunakan untuk romanisasi
      • Menggunakan modul Qieyun untuk menambahkan nada nomor 1 ke suku kata 陰平 nada yinping / inbin ; Nada lain secara fonologis tidak bertanda
    • Fungsi romanisation_to_ipa dalam romanisation.py berisi fungsi fonemisasi
• make_metadata.py : menggunakan modul phonemisation untuk mengubah transkripsi menjadi IPA dan menghasilkan metadata untuk pelatihan
  • Lihat di bawah dalam data/
• data/ : Berisi dataset yang digunakan untuk pelatihan
  • Transkripsi dan file audio diadaptasi dari repo ini
    • Downsampled ke 16kHz untuk pelatihan
    • Saat ini, hanya shh.dict.cn/ yang digunakan untuk pelatihan
  • File */metadata.txt dihasilkan oleh make_metadata.py
• training/
  • Juptyer Notebook untuk melatih model
  • Dimaksudkan untuk diunggah dan dijalankan di lingkungan Google Colab; perlu dimodifikasi untuk penggunaan lokal
  • Menggunakan repo coqui-ai/TTS , yang berisi implementasi vits
• writeup/ : Tulisannya
• speech_synthesis/ : berisi model sintesis bicara
  • Lihat speech_synthesis/README.md untuk lebih jelasnya
• comparison_questionnaire/ : berisi file kuesioner dan audio yang digunakan untuk membandingkan pidato yang dihasilkan oleh model ini, model Apple, dan pembicara manusia
  • *-1.wav : Diproduksi oleh model ini
  • *-2.wav : Diproduksi oleh Apple Voiceover (MacBook Pro 14-inci, 2021; MacOS Ventura 13.0.1)
  • *-3.wav : diucapkan sendiri
  • stats.ipynb : Jupyter Notebook untuk menganalisis hasil kuesioner