cs224n gpu that talks

注意，我想讲话：端到端语音综合（CS224N '18）

基于Tachibana等的基于卷积SEQ2SEQ的卷积SEQ2SEQ模型的实现。 al。 （2017）。给定一系列字符，该模型在两个阶段（Text2Mel和SSRN）中预测了一系列频谱图框架。

如报告中所述，我们可以通过培训60k步骤的Text2Mel获得相当不错的音频质量，SSRN以100K步骤。这对应于在LJ语音数据集上的单个Tesla K80 GPU上进行大约（6+12）小时的培训。

预验证的模型：[下载]样本：[base-model-m4]

有关更多详细信息，请参见：海报纸

用法：

目录结构

 - runs (contains checkpoints and params.json file for each different run. params.json specifies various hyperameters: see params-examples folder)
    - run1/params.json ...
 - src (implementation code package)
 - sentences (contains test sentences in .txt files)
 
train.py
evaluate.py
synthesize.py

../data (directory containing data in format below)
 - FOLDER
    - train.csv, val.csv (files containing [wav_file_name|transcript|normalized_trascript] as in LJ-Speech dataset)
    - wavs (folder containing corresponding .wav audio files)

脚本文件

使用python <script_file>.py -h运行每个文件以查看用法详细信息。

 python train.py <PATH_PARAMS.JSON> <MODE>
python evaluate.py <PATH_PARAMS.JSON> <MODE> 
python synthesize.py <TEXT2MEL_PARAMS> <SSRN_PARAMS> <SENTENCES.txt> (<N_ITER> <SAMPLE_DIR>)

笔记本：

• 评估：在整个培训和验证集的不同保存模型检查点上运行模型预测，并保存最终结果。
• 演示：交互式键入输入句子，然后收听生成的输出音频。

更远：

• 使用较少数据的不同语言培训印度语言的数据集
• 探索使用半监督方法加速训练的使用，使用预先训练的“音频模型”作为初始化

引用的外部代码：

（从src/ init .py中）已从以下来源引用实用性代码，所有其他代码都是作者自己的：

• src/data_load.py，dsp_utils.py（带有修改）
  https://www.github.com/kyubyong/dc_tts，（作者：Kyubyong Park，@kyubyong）
• src/spsi.py（引用）
  https://github.com/lonce/spsi_python（作者：@lonce）
• src/utils.py（引用）
  https://github.com/cs230-stanford/cs230-code-examples https://www.github.com/kyubyong/dc_tts https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/layers/common_attention.py