triviaqa

Triviaqa: Dataset tantangan yang diawasi dengan skala besar untuk pemahaman membaca

• Repo ini berisi kode untuk kertas Mandar Joshi, Eunsol Choi, Daniel Weld, Luke Zettlemoyer.

Triviaqa: Dataset tantangan yang diawasi dengan skala besar untuk pemahaman membaca dalam Asosiasi Linguistik Komputasi (ACL) 2017, Vancouver, Kanada.

• Data dapat diunduh dari situs web TriviaQA. Lisensi Apache 2.0 berlaku untuk kode dan data.
• Silakan hubungi Mandar Joshi (<Taman pertama> [email protected]) untuk saran dan komentar.

Persyaratan

Umum

• Python 3. Anda harus dapat menjalankan skrip evaluasi menggunakan Python 2.7 jika Anda merawat Unicode di utils.utils.py .
• BIDAF membutuhkan Python 3 - periksa repositori asli untuk lebih jelasnya.

Paket Python

• TensorFlow (hanya jika Anda ingin menjalankan BIDAF, diverifikasi pada R0.11)
• nltk
• TQDM

Evaluasi

Parameter dataset file mengacu pada file dalam direktori qa data (misalnya, wikipedia-dev.json ). Untuk format file, lihat direktori sample di repo.

 python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json

Aneka ragam

• Jika Anda memiliki model pasukan dan ingin menjalankan triviaqa, silakan merujuk ke utils.convert_to_squad_format.py