R Net

R-NET

• R-NET的TensorFlow实现：具有自匹配网络的机器阅读理解。该项目专为小队数据集设计。
• 如果您有任何疑问，请联系Wenxuan Zhou（[email protected]）。

要求

使用不同的软件版本引起的许多已知问题。请在打开问题或给我发电子邮件之前检查您的版本。

一般的

• Python> = 3.4
• 解压缩，wget

Python包

• TensorFlow-GPU> = 1.5.0
• Spacy> = 2.0.0
• TQDM
• Ujson

用法

要下载和预处理数据，请运行

 # download SQuAD and Glove
sh download.sh
# preprocess the data
python config.py --mode prepro

超级参数存储在config.py中。要调试/火车/测试模型，请运行

python config.py --mode debug/train/test

要获得官方分数，跑步

python evaluate-v1.1.py ~ /data/squad/dev-v1.1.json log/answer/answer.json

张板日志文件的默认目录是log/event

有关训练的模型，请参见发布。

详细的实施

• 原始论文使用添加的关注，这会消耗大量记忆。该项目采用了您所需要的缩放乘法注意力。
• 该项目采用了在经常性神经网络中辍学的理论扎根应用中提出的变异辍学。
• 为了解决堆叠的RNN中的降解问题，将每一层的输出连接以产生最终输出。
• 当开发设置的损失在一定时期内增加时，学习率减半。
• 在预测期间，该项目采用了使用Match-LSTM和回答指针中机器理解中介绍的搜索方法。
• 为了解决效率问题，此实施使用桶形方法（由Xiongyifan贡献）和Cudnngru。水库方法可以加速训练，但将F1得分降低0.3％。

表现

分数

	Em	F1
原始纸	71.1	79.5
这个项目	71.07	79.51

培训时间（S/IT）

	本国的	本地 +桶	库丁	cudnn +桶
E5-2640	6.21	3.56	-	-
泰坦X	2.56	1.31	0.41	0.28

扩展

这些设置可能会增加分数，但默认情况下未使用。您可以在config.py中打开这些设置。

• 预处理的手套特征嵌入。由Yanghanxy贡献。
• fastText嵌入。由Xiongyifan贡献。可能会将F1增加1％（由Xiongyifan报告）。