triviaqa

Triviaqa：一个大规模远距离监督的挑战数据集，用于阅读理解

• 该回购包含纸普通话，尤恩索尔·崔（Eunsol Choi），丹尼尔·韦尔德（Daniel Weld），卢克·泽特勒莫耶（Luke Zettlemoyer）的代码。

Triviaqa：一个大规模监督的挑战数据集，用于阅读计算语言学协会（ACL）2017，加拿大温哥华。

• 数据可以从Triviaqa网站下载。 Apache 2.0许可证同时适用于代码和数据。
• 请联系Mandar Joshi（<First-Name> [email protected]）以获取建议和评论。

要求

一般的

• Python 3。如果您在utils.utils.py中照顾Unicode，则应该可以使用Python 2.7运行评估脚本。
• Bidaf需要Python 3-检查原始存储库以获取更多详细信息。

Python包

• TensorFlow（仅当您想运行BIDAF时，在R0.11上进行了验证）
• NLTK
• TQDM

评估

dataset file参数是指数据的qa检查目录中的文件（例如wikipedia-dev.json ）。有关文件格式，请在存储库中查看sample目录。

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

各种各样的

• 如果您有小队模型并且想在Triviaqa上运行，请参考utils.convert_to_squad_format.py