triviaqa

Triviaqa：一個大規模遠距離監督的挑戰數據集，用於閱讀理解

• 該回購包含紙普通話，尤恩索爾·崔（Eunsol Choi），丹尼爾·韋爾德（Daniel Weld），盧克·澤特勒莫耶（Luke Zettlemoyer）的代碼。

Triviaqa：一個大規模監督的挑戰數據集，用於閱讀計算語言學協會（ACL）2017，加拿大溫哥華。

• 數據可以從Triviaqa網站下載。 Apache 2.0許可證同時適用於代碼和數據。
• 請聯繫Mandar Joshi（<First-Name> [email protected]）以獲取建議和評論。

要求

一般的

• Python 3。如果您在utils.utils.py中照顧Unicode，則應該可以使用Python 2.7運行評估腳本。
• Bidaf需要Python 3-檢查原始存儲庫以獲取更多詳細信息。

Python包

• TensorFlow（僅當您想運行BIDAF時，在R0.11上進行了驗證）
• NLTK
• TQDM

評估

dataset file參數是指數據的qa檢查目錄中的文件（例如wikipedia-dev.json ）。有關文件格式，請在存儲庫中查看sample目錄。

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

各種各樣的

• 如果您有小隊模型並且想在Triviaqa上運行，請參考utils.convert_to_squad_format.py