differentiable proving

Предварительные языковые модели тоже символические решатели математики

Это репозиторий, содержащий код и данные для статьи:

К. Норбахш, М. Сулайман, М. Шарифи, К. Рой и П. Джамшиди. Предварительные языковые модели также являются символическими решателями математики!

Сайт проекта

Предварительные условия

Этот код зависит от следующих пакетов:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Структура

• trainer.py содержит код для точной настройки предварительно обученных языковых моделей. Пожалуйста, измените следующие параметры для работы:

  1. language : предварительно обученный язык.
  2. Model_Type : mbart или marian.
  3. path1 и path2 : Путь обучения и данные проверки.
  4. max_input_length и max_output_length : 1024 для модели Mbart и 512 для модели Marian-MT.
  5. model_name : имя модели, которую вы хотите сохранить.

• evaluator.py содержит код для оценки модели с тонким языком на символических математических данных. Пожалуйста, измените параметр 1-4, так же, как раздел trainer , а также измените следующий параметр:

  1. path : путь тестового набора данных.
  2. saved_model : путь сохраненной тонкой модели.

• src/hf_utils.py содержит код для чтения наборов данных и некоторых утилит для оценки.

Остальная часть Кодекса принята из глубокого обучения для символической математики (Lample et al.).

Наборы данных

Наборы данных доступны здесь.

1. train , valid и test файлы содержат наборы данных обучения, проверки и тестирования для модели MBART.
2. language_data содержит данные для наборов данных обучения, проверки и тестирования модели Marian-MT.
3. distribution_test содержит тестовые файлы для раздела Shiftibution Shift (полиномиальный, тргонометрический и логарифмический).

Цитирование

Пожалуйста, цитируйте нас, если вы используете нашу работу в своем исследовании.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }