triviaqa

Triviaqa : 독해를위한 대규모 먼 감독 챌린지 데이터 세트

• 이 repo에는 종이 Mandar Joshi, Eunsol Choi, Daniel Weld, Luke Zettlemoyer에 대한 코드가 포함되어 있습니다.

Triviaqa : 캐나다 밴쿠버 협회 (ACL) 2017의 협회에서 독해를위한 대규모 먼지 감독 챌린지 데이터 세트.

• 데이터는 Triviaqa 웹 사이트에서 다운로드 할 수 있습니다. Apache 2.0 라이센스는 코드와 데이터 모두에 적용됩니다.
• 제안 및 의견은 Mandar Joshi (<first-name> [email protected])에게 문의하십시오.

요구 사항

일반적인

• Python 3. utils.utils.py 에서 유니 코드를 관리하는 경우 Python 2.7을 사용하여 평가 스크립트를 실행할 수 있어야합니다.
• Bidaf는 Python 3이 필요합니다. 자세한 내용은 원래 저장소를 확인하십시오.

파이썬 패키지

• Tensorflow (R0.11에서 확인 된 Bidaf를 실행하려는 경우에만)
• nltk
• TQDM

평가

dataset file 매개 변수는 데이터의 qa 디렉토리 (예 : wikipedia-dev.json )의 파일을 나타냅니다. 파일 형식의 경우 repo에서 sample 디렉토리를 확인하십시오.

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

여러 가지 잡다한

• 분대 모델이 있고 Triviaqa에서 실행하려면 utils.convert_to_squad_format.py 를 참조하십시오.