shanghainese tts

上海TTS

• 達特茅斯林48最終項目：改進上海的TTS
• yuanhao chen [email protected] 2023

目標

要從頭開始為上海構建文本到語音（TTS）系統，以通過對文本的預處理特別注意與現有模型相比，試圖改善Sandhi的產生。

描述

請參閱寫入/main.pdf。

依賴性

pip install -r phonemisation/requirements.txt
pip install -r speech_synthesis/requirements.txt
pip install -r comparison_questionnaire/requirements.txt  # for analysis of questionnaire results 

用法

請參閱speech_synthesis/README.md 。

結構

• phonemisation/ ：包含音密模塊
  • 請參閱phonemisation/__init__.py
  • 用法： python -m phonemisation "text to phonemise"
  • 機制：中文句子-單詞分割⟶中文單詞-羅馬化⟶上海拼音-發聲⟶上海語音
    • jieba用於單詞細分
    • 我以前製作的上海詞典用於羅馬化
      • 使用Qieyun模塊將音調數字1添加到陰平yinping / inbin音調的音節中；其他音調在語音上沒有標記
    • romanisation_to_ipa函數在romanisation.py中包含音量功能
• make_metadata.py ：使用phonemisation模塊將轉錄轉換為IPA並生成元數據進行訓練
  • 參見data/
• data/ ：包含用於培訓的數據集
  • 轉錄和音頻文件是根據此存儲庫改編的
    • 下採樣到16kHz進行培訓
    • 目前，僅shh.dict.cn/用於培訓
  • */metadata.txt文件由make_metadata.py生成
• training/
  • Juptyer訓練模型的筆記本
  • 打算在Google Colab環境中上傳並運行；需要修改以供本地使用
  • 使用coqui-ai/TTS repo，其中包含VIT的實現
• writeup/ ：寫
• speech_synthesis/ ：包含語音合成模型
  • 有關更多詳細speech_synthesis/README.md
• comparison_questionnaire/ ：包含用於比較該模型產生的語音，Apple模型和人類說話的調查表和音頻文件
  • *-1.wav ：該模型生產
  • *-2.wav ：由Apple Voiceover生產（MacBook Pro 14英寸，2021; MacOS Ventura 13.0.1）
  • *-3.wav ：我自己說的
  • stats.ipynb ：用於分析問卷結果的jupyter筆記本