R Net

R-NET

• R-NET的TensorFlow實現：具有自匹配網絡的機器閱讀理解。該項目專為小隊數據集設計。
• 如果您有任何疑問，請聯繫Wenxuan Zhou（[email protected]）。

要求

使用不同的軟件版本引起的許多已知問題。請在打開問題或給我發電子郵件之前檢查您的版本。

一般的

• Python> = 3.4
• 解壓縮，wget

Python包

• TensorFlow-GPU> = 1.5.0
• Spacy> = 2.0.0
• TQDM
• Ujson

用法

要下載和預處理數據，請運行

 # download SQuAD and Glove
sh download.sh
# preprocess the data
python config.py --mode prepro

超級參數存儲在config.py中。要調試/火車/測試模型，請運行

python config.py --mode debug/train/test

要獲得官方分數，跑步

python evaluate-v1.1.py ~ /data/squad/dev-v1.1.json log/answer/answer.json

張板日誌文件的默認目錄是log/event

有關訓練的模型，請參見發布。

詳細的實施

• 原始論文使用添加的關注，這會消耗大量記憶。該項目採用了您所需要的縮放乘法注意力。
• 該項目採用了在經常性神經網絡中輟學的理論紮根應用中提出的變異輟學。
• 為了解決堆疊的RNN中的降解問題，將每一層的輸出連接以產生最終輸出。
• 當開發設置的損失在一定時期內增加時，學習率減半。
• 在預測期間，該項目採用了使用Match-LSTM和回答指針中機器理解中介紹的搜索方法。
• 為了解決效率問題，此實施使用桶形方法（由Xiongyifan貢獻）和Cudnngru。水庫方法可以加速訓練，但將F1得分降低0.3％。

表現

分數

	Em	F1
原始紙	71.1	79.5
這個項目	71.07	79.51

培訓時間（S/IT）

	本國的	本地 +桶	庫丁	cudnn +桶
E5-2640	6.21	3.56	-	-
泰坦X	2.56	1.31	0.41	0.28

擴展

這些設置可能會增加分數，但默認情況下未使用。您可以在config.py中打開這些設置。

• 預處理的手套特徵嵌入。由Yanghanxy貢獻。
• fastText嵌入。由Xiongyifan貢獻。可能會將F1增加1％（由Xiongyifan報告）。