triviaqa

Triviaqa: um conjunto de dados de desafio supervisionado em larga escala para a compreensão da leitura

• Este repo contém código para o mandar Joshi, Eunsol Choi, Daniel Weld, Luke Zettlemoyer.

Triviaqa: Um conjunto de dados de desafio supervisionado em larga escala para a compreensão de leitura em associação para a Linguística Computacional (ACL) 2017, Vancouver, Canadá.

• Os dados podem ser baixados no site Triviaqa. A licença Apache 2.0 se aplica ao código e aos dados.
• Entre em contato com Mandar Joshi (<Nome> [email protected]) para obter sugestões e comentários.

Requisitos

Em geral

• Python 3. Você poderá executar os scripts de avaliação usando o Python 2.7 se você cuidar do Unicode no utils.utils.py .
• O BIDAF requer Python 3 - Verifique o repositório original para obter mais detalhes.

Pacotes Python

• Tensorflow (somente se você quiser executar BIDAF, verificado em R0.11)
• nltk
• TQDM

Avaliação

O parâmetro dataset file refere-se a arquivos no diretório de qa dos dados (por exemplo, wikipedia-dev.json ). Para o formato do arquivo, consulte o diretório sample no repositório.

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

Variado

• Se você tem um modelo de esquadrão e deseja executar no Triviaqa, consulte utils.convert_to_squad_format.py