Viriviaqa: крупномасштабный набор данных с отдаленным контролем для понимания прочитанного
- Этот репо содержит код для бумаги Мандар Джоши, Юнсол Чой, Даниэль Уэлд, Люк Зеттлемойер.
Triviaqa: крупномасштабный набор данных с отдаленным контролем для понимания прочитанного в ассоциации для вычислительной лингвистики (ACL) 2017, Ванкувер, Канада.
- Данные можно загрузить с веб -сайта Viriviaqa. Лицензия Apache 2.0 применяется как к коду, так и к данным.
- Пожалуйста, свяжитесь с Мандаром Джоши (<первое имя> [email protected]) для предложений и комментариев.
Требования
Общий
- Python 3. Вы должны иметь возможность запустить сценарии оценки с помощью Python 2.7, если вы позаботитесь о Unicode в
utils.utils.py . - Bidaf требует Python 3 - проверьте исходный репозиторий для получения более подробной информации.
Python Packages
- TensorFlow (только если вы хотите запустить Bidaf, проверенный на R0.11)
- nltk
- TQDM
Оценка
Параметр dataset file относится к файлам в каталоге qa данных (например, wikipedia-dev.json ). Для формата файла ознакомьтесь с sample каталога в репо.
python3 -m evaluation.triviaqa_evaluation --dataset_file samples/triviaqa_sample.json --prediction_file samples/sample_predictions.json
Разнообразный
- Если у вас есть модель команды и вы хотите запустить на Viviaqa, пожалуйста, обратитесь к
utils.convert_to_squad_format.py
