TTS papers

（随时建议更改）

文件

• 合并音素和字符表示：https：//arxiv.org/pdf/1811.07240.pdf
• tacotron转移学习：https：//arxiv.org/pdf/1904.06508.pdf
• 引起注意的音素时机：https：//ieeexplore.ieee.org/stamp/stamp.jsp.tp=&arnumber=8683827
• 半监督培训以提高端到端语音合成的数据效率-https：//arxiv.org/pdf/1808.10128.pdf
• 讲话时聆听：深度学习的语音链-https：//arxiv.org/pdf/1707.04879.pdf
• 演讲者验证的通用端到端损失：https：//arxiv.org/pdf/1710.10467.pdf
• ES-TACOTRON2：具有预先训练的估计网络的多任务TACOTRON 2，用于减少平滑度问题：https：//www.mdpi.com/2078-2489/10/4/131/131/pdf
  • 反对过度平滑
• FastSpeech：https：//arxiv.org/pdf/1905.09263.pdf
• 从演讲中学习唱歌：https：//arxiv.org/pdf/1912.10128.pdf
• tts-gan：https：//arxiv.org/pdf/1909.11646.pdf
  • 他们使用持续时间和语言特征来进行EN2EN TT。
  • 接近Wavenet性能。
• 榴莲：https：//arxiv.org/pdf/1909.01700.pdf
  • 持续时间意识到的塔科克斯
• Melnet：https：//arxiv.org/abs/1906.01083
• Aligntts：https：//arxiv.org/pdf/2003.01950.pdf
• 通过三重信息瓶颈无监督的语音分解
  • https://arxiv.org/pdf/2004.11284.pdf
  • https://anonymous0818.github.io/
• Flowtron：https：//arxiv.org/pdf/2005.05957.pdf
  • TACOTRON上的逆向自动化流量如架构
  • 浪潮作为Vocoder。
  • 语音风格与高斯模型的混合物嵌入。
  • 型号比香草·塔科特（Vanilla Tacotron）
  • MOS值比公共Tacotron实施要好得多。
• 有效的基于深卷积网络的有效训练的文本到语音系统具有指导性：https：//arxiv.org/pdf/1710.08969.pdf

广泛的摘要

端到端对抗性文本到 - spech：http：//arxiv.org/abs/2006.03575（单击以展开）

• END2END馈送前进的TTS学习。
• 字符对齐是使用单独的对齐器模块完成的。
• 对准器预测每个字符的长度。 - 炭的中心位置被发现了以前字符的总长度。 - 字符位置用高斯窗口插值在真实音频长度上。
  • 音频输出是在MU-LAW域中计算的。 （我没有理由）
  • 仅使用2秒音频窗口进行传输。
  • GAN-TTS发电机用于产生音频信号。
  • RWD用作音频级别歧视器。
  • MELD：他们使用Biggan-Deep体系结构作为频谱级鉴别器，将问题作为图像重建重新加重。
  • 频谱图丢失
    • 仅使用对抗性饲料不足以学习炭的比对。他们使用频谱丢失b/w预测的频谱图和地面真相规范。
    • 请注意，模型预测音频信号。上面的频谱图是从生成的音频计算的。
    • 动态时间包装用于计算最小成本比对B/W生成的频谱图和地面真相。
    • 它涉及一种动态编程方法，以找到最小成本的比对。
  • 对齐器长度损失用于惩罚对准器的预测与真实音频长度不同。
  • 他们使用多扬声器数据集训练模型，但报告最佳性能扬声器的结果。
  • 消融研究每个组件的重要性：（ lengthloss和spectrogramloss）> rwd> meld> phonemes>多孔dataset。
  • 我的2美分：这是一个馈电模型，可提供末端2端语音综合，而无需训练单独的Vocoder模型。但是，它是非常复杂的模型，并带有许多超参数和实现细节。同样，最终结果也不接近于最新的现状。我认为我们需要找到用于学习字符对齐的特定算法，以减少调整不同算法组合的需求。

快速演讲2：http：//arxiv.org/abs/2006.04558（单击以展开）

• 使用MFA生成的音素持续时间作为标签来训练长度调节器。
• Thay使用帧级别F0和L2频谱图规范（方差信息）作为其他功能。
• 方差预测器模块在推理时间预测方差信息。
• 消融研究结果改进：模型<模型 + L2_NORM <模型 + L2_NORM + F0

glow-tts：https：//arxiv.org/pdf/2005.11129.pdf（单击以展开）

• 使用单调对准搜索学习对齐b/w文本和频谱图
• 该比对用于训练在推理时使用的持续时间预测变量。
• 编码器将每个字符映射到高斯分布。
• 解码器使用标准化流（发光层）将每个光谱图映射到潜在矢量
• 编码器和解码器输出与MAS对齐。
• 首先，在每次迭代中，最可能的对齐方式是通过MAS找到的，并且该比对用于更新模式参数。
• 训练持续时间预测器，以预测每个字符的频谱图帧数。
• 在推断时，仅使用持续时间预测器代替MAS
• 编码器具有TTS变压器的架构，并具有2个更新
• 他们使用实地位置编码，而不是绝对的位置编码。
• 他们还为编码器Prenet使用残留连接。
• 解码器具有与Glow模型相同的架构。
• 他们训练单言和多扬声器模型。
• 它是通过实验表明的，与原始tacotron2相比
• 推理时比tacotron2快15倍
• 我的2美分：他们的样本听起来不像塔科特人那样自然。我认为正常注意力模型仍然会产生更多的自然语音，因为注意力学会了将字符映射到直接建模输出。但是，对于硬数据集来说，使用Glow-TTS可能是一个很好的替代方法。
• 样本：https：//github.com/jaywalnut310/glow-tts
• 存储库：https：//github.com/jaywalnut310/glow-tts

非自动入学的神经文本到讲话：http：//arxiv.org/abs/1905.08459（单击以展开）

• 使用非卷积层的深度语音3模型的推导。
• 教师学生范式训练Annon-AutoreReSressive Student，该学生具有自回归教师模型的多个关注障碍。
• 教师用于生成学生模型使用的文本到光谱图。
• 该模型通过两个损失函数进行训练，以进行注意和频谱图的产生。
• 多重注意力阻止逐层完善注意对准。
• 学生使用查询，钥匙和价值向量的点产生关注。查询仅是量度编码向量。密钥和值是编码器输出。
• 所提出的模型与位置编码很大程度上绑定，该位置编码也依赖于不同的常数值。

双解码器的一致性：https：//erogol.com/solving-prestion-problems-of-tts-models-with-double-decoder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-codersistency

• 该模型使用像架构这样的TACOTRON，但具有2个解码器和一个后网。
• DDC使用两个同步解码器使用不同的降低率。
• 解码器使用不同的降低率，因此它们以不同的粒度计算输出，并学习输入数据的不同方面。
• 该模型使用这两个解码器之间的一致性来增加学习文本对光谱图的鲁棒性。
• 该模型还通过多次应用邮政编码迭代来应用最终解码器输出的改进。
• DDC在PRENET模块中使用批归归量，并删除辍学层。
• DDC使用逐步培训来减少总培训时间。
• 我们使用多波段梅尔根发电机作为一个与原始作品不同的训练多个随机窗口歧视器的声码器。
• 我们只能在2天内使用单个GPU训练DDC模型，并且最终模型能够比CPU上的实时语音更快地生成。演示页面：https：//erogol.github.io/ddc-samples/代码：https：//github.com/mozilla/tts

并行tacotron2：http：//arxiv.org/abs/2103.14574（单击以展开）

• 不需要外部持续时间信息。
• 通过软dtw损失解决了真实和地面真实谱图之间的对齐问题。
• 预测的持续时间通过学习的转换功能而不是长度调节器转换为对齐，以解决舍入问题。
• 从预测的持续时间内计算出“令牌边界网格”的注意力图。
• 解码器建在6个“轻量级卷积”块上。
• VAE用于将输入频谱图投影到潜在特征，并与特征嵌入作为网络的输入。
• Soft-DTW在计算上是密集型的，因为它为所有频谱图帧计算成对差异。他们用一定的对角线窗口违反了它，以减少开销。
• 最终持续时间目标是持续时间损失，VAE丢失和光谱损失的总和。
• 他们仅使用专有数据集进行实验？
• 使用Tacotron2模型实现相同的MOS，并且优于可质感。
• 演示页面：https：//google.github.io/tacotron/publications/parallel_tacotron_2/index.html
• 代码：到目前为止没有代码

WaveGrad2：https：//arxiv.org/pdf/2106.09660.pdf（单击以展开）

• 它直接从音素序列计算原始波形。
• tacotron2之类的编码器模型用于计算来自音素的隐藏表示形式。
• 非竞争塔科克斯（Tacotron）如软持续时间预测因子，以使隐藏的代表与输出相结合。
• 他们在预测的持续时间内扩展了隐藏的表示形式，并采样了某个窗口以转换为波形。
• 他们探索了64和256帧之间的不同窗口尺寸，对应于0.8和3.2秒的语音。他们发现越大越好。
• 演示页面：到目前为止什么都没有
• 代码：到目前为止没有代码

---

多演讲纸

• 培训多演讲者的神经文本到语音系统，使用扬声器 - 不平衡的语音语料库-https：//arxiv.org/abs/1904.00771
• 深声音2-https：//papers.nips.cc/paper/6889-deep-voice-2-multi-speaker-neural-text-toxt to-spech.pdf
• 示例有效的自适应TTS -https：//openreview.net/pdf?id=rkzjuoacfx
  • Wavenet +扬声器嵌入方法
• 语音循环-https：//arxiv.org/abs/1707.06588
• 建模多演讲者的潜在空间，以改善神经TTS快速注册新扬声器并增强高级语音-https：//arxiv.org/pdf/1812.05253.pdf
• 从说话者验证到多言式文本到语音综合的转移学习-https：//arxiv.org/pdf/1806.04558.pdf
• 根据简短未转录的样本安装新的扬声器-https：//arxiv.org/pdf/1802.06984.pdf
• 演讲者验证的终端损失-https：//arxiv.org/abs/1710.10467

广泛的摘要

使用离散语音表示形式的多演讲者文本到语音综合的半监督学习：http：//arxiv.org/abs/2005.08024

• 训练只有一个小时的配对数据（文本到声音对准）和更多不成对（仅VOIDE）数据的多扬声器TTS模型。
• 它学习一个代码簿，每个代码单词对应于单个音素。
• 使用配对数据和CTC算法将代码书与音素对齐。
• 该代码书籍的功能就像代理，可以隐式估计未配对数据的音素序列。
• 他们在顶部堆叠tacotron2模型，以使用模型初始部分生成的代码单词嵌入来执行TTS。
• 他们在1小时长的配对数据设置中击败了基准方法。
• 他们没有报告完整的配对数据结果。
• 他们没有良好的消融研究，很有趣的是，看到模型的不同部分如何促进性能。
• 他们使用Griffin-lim作为声音编码器，因此有可以改进的空间。

演示页面：https：//ttaoretw.github.io/multispkr-semi-tts/demo.html
代码：https：//github.com/ttaoretw/semi-tts

专家：很少弹药到语上利用基于注意力的变量长度嵌入：https：//arxiv.org/abs/2005.08484

• 使用两个编码器学习扬声器依赖功能。
• 粗编码器根据提供的参考光谱图学习了一个全局扬声器嵌入向量。
• 精细编码器学习一个可变长度嵌入的嵌入，以使时间尺寸与注意模块合作。
• 注意力选择重要的参考光谱图框架来综合目标语音。
• 首先使用单个扬声器数据集预处理模型（用于30k Iters的LJSpeech。）
• 用多演讲者数据集微调模型。 （VCTK 70k Iters。）
• 与使用扬声器分类模型和基于VAE的参考音频编码器的X-矢量相比，它的指标稍好一些。

演示页面：https：//hyperconnect.github.io/attentron/

迈向通用文本到 - s-Speech：http：//www.interspeech2020202020202020.org/uploadfile/pdf/wed-3-4-4-3.pdf

• 序列序列多语言TTS的框架
• 该模型经过一个非常大，高度不平衡的数据集训练。
• 该模型能够在初次培训后学习使用6分钟的新语言和一个具有20秒数据的新扬声器。
• 该模型体系结构是一个基于变压器的编码器 - 码头网络，该网络具有扬声器网络和用于说话者和语言凝结的语言网络。这些网络的输出与编码器输出相连。
• 条件网络采用代表说话者或语言ID的单热量向量，并将其投影到条件表示。
• 他们使用Waveet Vocoder将预测的MEL光谱图转换为波形输出。
• 他们使用语言依赖语言输入，这些输入在语言之间不共享。
• 他们根据数据集中每种语言的逆频率对每个批次进行采样。因此，每个培训批次在语言上都有统一的分布，从而减轻了培训数据集中的语言失衡。
• 为了学习新的扬声器/语言，它们可以通过调节网络微调编码器模型。他们不训练WaveNet模型。
• 他们使用50种语言的1250小时专业录音进行培训。
• 他们在所有音频样本中使用16kHz采样率，并在每个夹子的开始和结束时进行修剪沉默。
• 他们使用4个V100 GPU进行培训，但他们没有提及训练该模型多长时间。
• 结果表明，单扬声器模型比MOS指标中提出的方法更好。
• 同样，使用调节网络对于数据集中的长尾语言也很重要，因为它们可以改善它们的MOS指标，但会损害高资源语言的性能。
• 当他们添加新的扬声器时，他们会观察到使用超过5分钟的数据降低模型性能。他们声称，由于这些录音不如原始录音那么干净，因此使用更多录音会影响模型的一般性能。
• 多语言模型只能为新的扬声器和语言的6分钟数据进行训练，而单个扬声器模型需要3个小时才能训练，甚至无法获得与6分钟多语言模型相似的MOS值。

AdaSpeech：自适应文本对自定义语音的语音：https：//openreview.net/pdf？id = drynvt7gg4l

• 他们提出了一个可以适应用户的不同输入声属性的系统，并使用最少的参数来实现这一目标。
• 主要体系结构基于FastSpeech2模型，该模型使用音高和方差预测指标来学习输入语音的粒度。
• 他们使用3个其他调节网络。
• 话语水平。它需要参考语音作为输入。
• 音素级别。它将音素级别的mel光谱图作为输入，并计算音素级调节矢量。通过在每个音素的持续时间内采用平均光谱图框架来计算音素级的MEL光谱图。
• 音素级别2。将音素编码器输出作为输入。这与上面的网络不同，只需使用音素信息而不看到频谱图即可。
• 所有这些调节网络和后骨FastSpeech2都使用层归一化层。
• 条件层归一化。当对新扬声器进行微调时，他们只建议微调每个层归一化层的比例和偏差参数。他们为每个层标准层训练扬声器调理模块，该模块输出刻度和偏差值。 （他们每个变压器块使用一个扬声器调节模块。）
• 这意味着您只为每个新扬声器存储扬声器条件模块，并在推断其余模型相同时预测推断时的比例和偏差值。
• 在实验中，他们在库中训练模型训练模型，并用VCTK和LJSpeech对其进行微调
• 结果表明，使用条件层归一化的实现比仅使用扬声器嵌入和解码器网络微调的两个基线要好。
• 他们的消融研究表明，模型中最重要的部分是“音素级别”网络，然后是条件层的归一化和“话语级别”网络。
• 本文的一个重要的下降是，文献几乎没有比较，这使得结果更难客观地评估。

演示页面：https：//speechresearch.github.io/adaspeech/

---

注意力

• 可靠的长长式综合的位置相关注意机制-https：//arxiv.org/pdf/1910.10288.pdf

---

声码器

• 梅尔根：https：//arxiv.org/pdf/1910.06711.pdf

• Parallelwavegan：https：//arxiv.org/pdf/1910.11480.pdf

  • 多尺度STFT损失
  • 〜1m模型参数（非常小）
  • 比Wavernn稍差

• 改进FFTNET

  • https://www.okamotocamera.com/slt_2018.pdff
  • https://www.okamotocamera.com/slt_2018.pdf

• fftnet

  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/clips/clips.php
  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/fftnet-jin2018.pdf

• 语音波形重建使用噪声和周期性输入的卷积神经网络

  • 150.162.46.34:8080/icassp2019/icassp2019/pdfs/0007045.pdf

• 致力于实现强大的通用声音

  • https://arxiv.org/pdf/1811.06292.pdf

• lpcnet

  • https://arxiv.org/pdf/1810.11846.pdf
  • https://arxiv.org/pdf/2001.11686.pdf

• 兴奋剂

  • https://arxiv.org/pdf/1811.04769v3.pdf

• GELP：GAN激发的语音合成线性预测来自Mel-Spectrograpon

  • https://arxiv.org/pdf/1904.03976v3.pdf

• 高保真语音综合与对抗网络：https：//arxiv.org/abs/1909.11646

  • gan-tts，端到端语音综合
  • 使用持续时间和语言特征
  • 持续时间和声学特征由其他模型预测。
  • 随机窗口判别器：摄入不是整个语音样本，而是随机窗口。
  • 多个RWD。有条件和一些无条件。 （以输入功能为条件）
  • PUNCHLINE：使用随机采样的窗口，带有不同的窗口尺寸。
  • 共享的结果听起来很机械，显示出非神经声学特征的限制。

• Multi Band Melgan：https：//arxiv.org/abs/2005.05106

  • 使用PWGAN损失而不是功能匹配损失。
  • 使用较大的接受场提升模型性能。
  • 为200k iTer的发电机预训练。
  • 多带语音信号预测。输出是用PQMF合成过滤器的4个不同频带预测的总和。
  • 多波段模型具有190万参数（很小）。
  • 声称比梅尔根快7倍
  • 在中文数据集上：MOS 4.22

• WaveGlow：https：//arxiv.org/abs/1811.00002

  • 非常大的型号（参数268m）
  • 很难训练，因为在12GB GPU上，只能花费1批量1。
  • 实时推断由于使用了卷积。
  • 基于可逆归一流的流动。 （很棒的教程https://blog.evjang.com/2018/01/nf1.html）
  • 模型将音频样品学习和不可能的映射到具有最大可能性损失的MEL光谱图。
  • 在推理网络沿相反方向运行，并将MEL-SPEC转换为音频样本。
  • 培训已经使用8个NVIDIA V100，带有32GB RAM，批量24。（昂贵）

• Squeezewave：https：//arxiv.org/pdf/2001.05685.pdf，代码：https：//github.com/tianrengao/squeezewave

  • 比实时快5-13倍
  • 浪潮散文：长音频样本，示例MEL-SPEC，WN函数中的大通道尺寸。
  • 修复：更多但较短的音频样本作为输入，（L = 2000，C = 8 vs L = 64，C = 256）
  • L = 64匹配MEL规格的分辨率，因此无需上采样。
  • 在WN模块中使用深度可分离的卷积。
  • 使用常规卷积而不是扩张，因为音频样品较短。
  • 假设这些向量几乎相同，请勿将模块输出分为残差和网络输出。
  • 使用Titan RTX 24GB批量96进行600K迭代的培训。
  • mos在ljspeech上：浪潮-4.57，squeezewave（l = 128 c = 256） - 4.07和squeezewave（l = 64 c = 256） - 3.77
  • 最小的模型在RASPI3上具有每秒21K样品。

WaveGrad：https：//arxiv.org/pdf/2009.00713.pdf

• 它基于概率扩散和拉根文动力学
• 基本想法是学习一个函数，该函数将已知分布映射到目标数据分布迭代。
• 他们报告了GPU的0.2实时因子，但CPU性能没有共享。
• 在下面的示例代码中，作者报告说，该模型在单个GPU进行了2天的培训后收敛。
• 纸上的MOS得分不够富含材料，但表现出与Wavernn和Wavenet等已知模型相当的性能。

代码：https：//github.com/ivanvovk/wavegrad

从互联网（博客，视频等）

视频

论文讨论

• TACOTRON 2：https：//www.youtube.com/watch?v=2iarxxm-v9w

会谈

• 谈论推动神经文本到语音的前沿，XU tan，2021年，https：//youtu.be/ma8pcvmr8b0
• 关于基于生成模型的文本到语音综合的讨论，Heiga Zen，2017年
  • 视频：https：//youtu.be/nsrsrytkkt8
  • 幻灯片：https：//research.google.com/pubs/pub458882.html
• Xin Wang的神经参数文本到语音综合的教程，Xin Wang，2020
  • 视频：https：//youtu.be/wce7sycdzai
  • 幻灯片：http：//tonywangx.github.io/slide.html#dec-2020
• ISCA语音处理课程，关于神经声码编码，2022年
  • 神经声码器的基本组件：https：//youtu.be/m833q5i-zys
  • 语音压缩的深刻生成模型（LPCNET）：https：//youtu.be/7ksnfx3plgw
  • 神经自动回归，源滤波器和声门声码器：https：//youtu.be/gprmxdberx0
    • 幻灯片：http：//tonywangx.github.io/slide.html#jul-2020
• 口语神经解码的语音综合| AISC：https：//www.youtube.com/watch?v=mndtmdpmnmo
• 生成文本到 - 讲话综合：https：//www.youtube.com/watch?v=j4mveanking
• 游戏行业的语音综合：https：//www.youtube.com/watch?v=AOHAYE4A-2Q

一般的

• 现代文本到 - 讲话系统评论：https：//www.youtube.com/watch?v=8rxlsc-zcry

Jupyter笔记本

• 有关神经声码编码器的教程：https：//github.com/nii-yamagishilab/project-nn-pytorch-scripts/tree/master/master/tutorials/b1_neural_vocoder

博客

• 文字到语音深度学习体系结构：http：//www.erogol.com/text-speech-deep-learning-architectures/