neural_sp

NeuralsP：基于神经网络的语音处理

如何安装

 cd tools
make KALDI=/path/to/kaldi TOOL=/path/to/save/tools

关键功能

语料库

• ASR

  • Aishell-1
  • Aishell-2
  • ami
  • CSJ
  • LaborotVspeech
  • librispeech
  • 总机（+Fisher）
  • TEDLIUM2/TEDLIUM3
  • 圆润
  • WSJ

• LM

  • 宾夕法尼亚州树库
  • wikitext2

前端

• 框架堆叠
• 序列摘要网络[链接]
• 规格[链接]
• 自适应规格[链接]

编码器

• RNN编码器
  • （cnn-）blstm，（cnn-）lstm，（cnn-）blgru，（cnn-）lgru
  • 延迟控制的BRNN [链接]
  • 随机状态传递（RSP）[链接]
• 变压器编码器[链接]
  • 跳跃机制[链接]
  • 相对位置编码[链接]
  • 因果面具
• 构象比编码器[链接]
• 时间深度可分离（TDS）卷积编码器[link] [line]
• 门控CNN编码器（GLU）[链接]

连接师时间分类（CTC）解码器

• 梁搜索
• 浅融合
• 强迫对齐

RNN-TRANSDUCER（RNN-T）解码器[链接]

• 梁搜索
• 浅融合

基于注意的解码器

• RNN解码器
  • 浅融合
  • 冷融合[链接]
  • 深融合[链接]
  • 向前的注意解码[链接]
  • 合奏解码
  • 内部LM估计[链接]
• 注意类型
  • 基于位置的
  • 基于内容
  • 点产品
  • GMM注意
• 流式RNN解码器特定
  • 硬单调注意[链接]
  • 单调的块状注意（摩卡）[链接]
  • 延迟受约束训练（Decot）[链接]
  • 最低延迟培训（MINLT）[链接]
  • CTC同步培训（CTC-ST）[链接]
• 变压器解码器[链接]
• 流变压器解码器特定
  • 单调多头注意[链接] [链接]

语言模型（LM）

• RNNLM（循环神经网络语言模型）
• 封闭卷积LM [链接]
• 变压器LM
• 变压器-XL LM [链接]
• 自适应SoftMax [链接]

输出单位

• 音素
• 石墨
• 文字（bpe，句子）
• 单词
• 字char混合

多任务学习（MTL）

支持具有不同单元的多任务学习（MTL）以减轻数据稀疏性。

• 混合CTC/注意[链接]
• 分层关注（例如，单词注意 +字符注意）[链接]
• 层次结构CTC（例如Word CTC +字符CTC）[链接]
• 分层CTC +注意（例如，单词注意 +字符CTC）[链接]
• 前后关注[链接]
• LM目标

ASR性能

Aishell-1（CER）

模型	开发	测试
构象比拉斯	4.1	4.5
变压器	5.0	5.4
流MMA	5.5	6.1

Aishell-2（CER）

模型	test_android	test_ios	test_mic
构象比拉斯	6.1	5.5	5.9

CSJ（wer）

模型	eval1	eval2	eval3
构象比拉斯	5.7	4.4	4.9
blstm las	6.5	5.1	5.6
LC-Blstm摩卡	7.4	5.6	6.4

总机300H（WER）

模型	SWB	ch
blstm las	9.1	18.8

总机+Fisher 2000H（WER）

模型	SWB	ch
blstm las	7.8	13.8

Laborotvspeech（CER）

模型	dev_4k	开发	TEDX-JP-10K
构象比拉斯	7.8	10.1	12.4

librispeech（wer）

模型	Dev-Clean	开发	测试清洁	测试
构象比拉斯	1.9	4.6	2.1	4.9
变压器	2.1	5.3	2.4	5.7
blstm las	2.5	7.2	2.6	7.5
blstm rnn-t	2.9	8.5	3.2	9.0
UNILSTM RNN-T	3.7	11.7	4.0	11.6
Unilstm摩卡	4.1	11.0	4.2	11.2
lc-blstm rnn-t	3.3	9.8	3.5	10.2
LC-Blstm摩卡	3.3	8.8	3.5	9.1
流MMA	2.5	6.9	2.7	7.1

TEDLIUM2（WER）

模型	开发	测试
构象比拉斯	7.0	6.8
blstm las	8.1	7.5
lc-blstm rnn-t	8.0	7.7
LC-Blstm摩卡	10.3	8.6
UNILSTM RNN-T	10.7	10.7
Unilstm摩卡	13.5	11.6

WSJ（wer）

模型	test_dev93	test_eval92
blstm las	8.8	6.2

LM性能

宾夕法尼亚树库（PPL）

模型	有效的	测试
rnnlm	87.99	86.06
+缓存= 100	79.58	79.12
+缓存= 500	77.36	76.94

wikitext2（ppl）

模型	有效的	测试
rnnlm	104.53	98.73
+缓存= 100	90.86	85.87
+缓存= 2000	76.10	72.77

参考

• https://github.com/kaldi-asr/kaldi
• https://github.com/espnet/espnet
• https://github.com/awni/speech
• https://github.com/hawkaaron/e2e-asr

依赖性

• https://github.com/seannaren/warp-ctc
• https://github.com/hawkaaron/warp-transducer
• https://github.com/1ytic/warp-rnnt