shanghainese tts

上海TTS

• 达特茅斯林48最终项目：改进上海的TTS
• yuanhao chen [email protected] 2023

目标

要从头开始为上海构建文本到语音（TTS）系统，以通过对文本的预处理特别注意与现有模型相比，试图改善Sandhi的产生。

描述

请参阅写入/main.pdf。

依赖性

pip install -r phonemisation/requirements.txt
pip install -r speech_synthesis/requirements.txt
pip install -r comparison_questionnaire/requirements.txt  # for analysis of questionnaire results 

用法

请参阅speech_synthesis/README.md 。

结构

• phonemisation/ ：包含音密模块
  • 请参阅phonemisation/__init__.py
  • 用法： python -m phonemisation "text to phonemise"
  • 机制：中文句子-单词分割⟶中文单词-罗马化⟶上海拼音-发声⟶上海语音
    • jieba用于单词细分
    • 我以前制作的上海词典用于罗马化
      • 使用Qieyun模块将音调数字1添加到阴平yinping / inbin音调的音节中；其他音调在语音上没有标记
    • romanisation_to_ipa函数在romanisation.py中包含音量功能
• make_metadata.py ：使用phonemisation模块将转录转换为IPA并生成元数据进行训练
  • 参见data/
• data/ ：包含用于培训的数据集
  • 转录和音频文件是根据此存储库改编的
    • 下采样到16kHz进行培训
    • 目前，仅shh.dict.cn/用于培训
  • */metadata.txt文件由make_metadata.py生成
• training/
  • Juptyer训练模型的笔记本
  • 打算在Google Colab环境中上传并运行；需要修改以供本地使用
  • 使用coqui-ai/TTS repo，其中包含VIT的实现
• writeup/ ：写
• speech_synthesis/ ：包含语音合成模型
  • 有关更多详细speech_synthesis/README.md
• comparison_questionnaire/ ：包含用于比较该模型产生的语音，Apple模型和人类说话的调查表和音频文件
  • *-1.wav ：该模型生产
  • *-2.wav ：由Apple Voiceover生产（MacBook Pro 14英寸，2021; MacOS Ventura 13.0.1）
  • *-3.wav ：我自己说的
  • stats.ipynb ：用于分析问卷结果的jupyter笔记本