triviaqa

Triviaqa：読解力のための大規模な遠い監視付きチャレンジデータセット

• このレポは、ペーパーマンダルジョシ、ウンソルチェ、ダニエルウェルド、ルークゼットルモイヤーのコードが含まれています。

Triviaqa：Computational Linguistics（ACL）2017、バンクーバー、カナダの関連における読解力のための大規模な遠隔監督のチャレンジデータセット。

• データは、Triviaqa Webサイトからダウンロードできます。 Apache 2.0ライセンスは、コードとデータの両方に適用されます。
• 提案とコメントについては、Mandar Joshi（<first-name> [email protected]）にお問い合わせください。

要件

一般的な

• utils.utils.pyでUnicodeの世話をする場合、Python 2.7を使用して評価スクリプトを実行できるはずです。
• BidafにはPython 3が必要です。詳細については、元のリポジトリを確認してください。

Pythonパッケージ

• Tensorflow（Bidafを実行したい場合のみ、R0.11で確認されました）
• nltk
• TQDM

評価

dataset fileパラメーターは、データのqaディレクトリ内のファイル（ wikipedia-dev.jsonなど）を指します。ファイル形式については、リポジトリのsampleディレクトリをご覧ください。

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

その他

• 分隊モデルがあり、Triviaqaで実行したい場合は、 utils.convert_to_squad_format.pyを参照してください