R Net

r-net

• R-NETのTensorFlow実装：自己一致ネットワークを使用した機械の読解。このプロジェクトは、分隊データセット用に特別に設計されています。
• 質問がある場合は、wenxuan Zhou（[email protected]）にお問い合わせください。

要件

さまざまなソフトウェアバージョンを使用することにより、多くの既知の問題が発生しています。問題を開くか、私に電子メールを送る前に、バージョンを確認してください。

一般的な

• Python> = 3.4
• Unzip、wget

Pythonパッケージ

• Tensorflow-gpu> = 1.5.0
• スペイシー> = 2.0.0
• TQDM
• ウジソン

使用法

データをダウンロードして前処理するには、実行します

 # download SQuAD and Glove
sh download.sh
# preprocess the data
python config.py --mode prepro

ハイパーパラメーターはconfig.pyに保存されます。モデルをデバッグ/トレーニング/テストするには、実行します

python config.py --mode debug/train/test

公式スコアを取得するには、実行してください

python evaluate-v1.1.py ~ /data/squad/dev-v1.1.json log/answer/answer.json

Tensorboardログファイルのデフォルトディレクトリはlog/eventです

訓練されたモデルのリリースを参照してください。

詳細な実装

• 元の論文では、多くのメモリを消費する追加の注意を払っています。このプロジェクトは、注意を払って提示されたスケーリングされた多重な注意を採用しています。
• このプロジェクトでは、再発性ニューラルネットワークにおけるドロップアウトの理論的に接地されたアプリケーションで提示された分散ドロップアウトを採用しています。
• 積み重ねられたRNNの分解問題を解決するために、各層の出力を連結して最終出力を生成します。
• DEVセットの損失が特定の期間に増加すると、学習率は半分になります。
• 予測中、プロジェクトはMatch-LSTMと回答ポインターを使用して機械理解で提示された検索方法を採用します。
• 効率の問題に対処するために、この実装では、バケットメソッド（Xiongyifanが寄付）とCudnngruを使用します。バケットメソッドはトレーニングをスピードアップできますが、F1スコアは0.3％減少します。

パフォーマンス

スコア

	em	F1
オリジナルペーパー	71.1	79.5
このプロジェクト	71.07	79.51

トレーニング時間（s/it）

	ネイティブ	ネイティブ +バケツ	cudnn	cudnn +バケット
E5-2640	6.21	3.56	-	-
タイタンX	2.56	1.31	0.41	0.28

拡張機能

これらの設定はスコアを増やす可能性がありますが、デフォルトではモデルでは使用されません。これらの設定をconfig.pyでオンにすることができます。

• 前処理されたグローブキャラクターの埋め込み。 Yanghanxyが寄稿しました。
• fastText埋め込み。 Xiongyifanが寄稿しました。 F1を1％増加させる可能性があります（Xiongyifanによって報告）。