Triviaqa: un ensemble de données de défi à grande échelle à grande échelle pour la compréhension de la lecture
- Ce repo contient du code pour le papier Mandar Joshi, Eunsol Choi, Daniel Weld, Luke Zettlemoyer.
Triviaqa: un ensemble de données de défi à grande échelle à grande échelle pour la compréhension de la lecture dans Association for Computational Linguistics (ACL) 2017, Vancouver, Canada.
- Les données peuvent être téléchargées à partir du site Web de Triviaqa. La licence Apache 2.0 s'applique à la fois au code et aux données.
- Veuillez contacter Mandar Joshi (<nom-name> [email protected]) pour des suggestions et des commentaires.
Exigences
Général
- Python 3. Vous devriez pouvoir exécuter les scripts d'évaluation à l'aide de Python 2.7 si vous prenez soin d'Unicode dans
utils.utils.py . - BIDAF nécessite Python 3 - Vérifiez le référentiel d'origine pour plus de détails.
Packages python
- Tensorflow (seulement si vous souhaitez exécuter BIDAF, vérifié sur R0.11)
- NLTK
- tqdm
Évaluation
Le paramètre dataset file fait référence aux fichiers dans le répertoire qa des données (par exemple, wikipedia-dev.json ). Pour le format de fichier, consultez l' sample de répertoire dans le dépôt.
python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json
Divers
- Si vous avez un modèle d'escouade et que vous souhaitez fonctionner sur Triviaqa, veuillez vous référer à
utils.convert_to_squad_format.py
