triviaqa

Triviaqa: un conjunto de datos de desafío supervisado a gran escala para la comprensión de lectura

• Este repositorio contiene código para el documento Mandar Joshi, Eunsol Choi, Daniel Weld, Luke Zettlemoyer.

Triviaqa: un conjunto de datos de desafío supervisado a gran escala para la comprensión de lectura en la Asociación de Lingüística Computacional (ACL) 2017, Vancouver, Canadá.

• Los datos se pueden descargar desde el sitio web de Triviaqa. La licencia Apache 2.0 se aplica tanto al código como a los datos.
• Póngase en contacto con Mandar Joshi (<RIVERNAME> [email protected]) para sugerencias y comentarios.

Requisitos

General

• Python 3. Debería poder ejecutar los scripts de evaluación utilizando Python 2.7 si se ocupa de Unicode en utils.utils.py .
• Bidaf requiere Python 3: consulte el repositorio original para obtener más detalles.

Paquetes de Python

• TensorFlow (solo si desea ejecutar bidaf, verificado en R0.11)
• nltk
• TQDM

Evaluación

El parámetro dataset file se refiere a los archivos en el directorio de qa de los datos (por ejemplo, wikipedia-dev.json ). Para el formato de archivo, consulte el directorio sample en el repositorio.

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

Misceláneas

• Si tiene un modelo de escuadrón y desea ejecutar en Triviaqa, consulte utils.convert_to_squad_format.py