differentiable proving

Les modèles de langue pré-entraînés sont également des résolveurs de mathématiques symboliques

Il s'agit d'un référentiel contenant du code et des données pour le papier:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy et P. Jamshidi. Les modèles de langue pré-entraînés sont également des résolveurs de mathématiques symboliques!

Site Web du projet

Pré-requis

Ce code dépend des packages suivants:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Structure

• trainer.py contient du code pour affiner les modèles de langue pré-formés. Veuillez modifier les paramètres suivants pour l'exécution:

  1. language : la langue pré-formée.
  2. Model_Type : Mbart ou Marian.
  3. path1 et path2 : Le chemin de la formation et les données de validation.
  4. max_input_length et max_output_length : 1024 pour le modèle MBART et 512 pour le modèle Marian-MT.
  5. model_name : nom du modèle que vous souhaitez enregistrer.

• evaluator.py contient du code d'évaluation du modèle de langue affinée sur les données mathématiques symboliques. Veuillez modifier le paramètre 1-4 Identique à la section trainer et modifier également le paramètre suivant:

  1. path : le chemin du chemin de l'ensemble de données de test.
  2. saved_model : Le chemin du modèle fini enregistré.

• src/hf_utils.py contient du code pour lire les ensembles de données et certains utilitaires pour l'évaluation.

Le reste du code est adopté à partir de l'apprentissage en profondeur pour les mathématiques symboliques (Lample et al.).

Ensembles de données

Les ensembles de données sont disponibles ici.

1. Les fichiers train , valid et test contiennent les ensembles de données de formation, de validation et de test pour le modèle MBART.
2. language_data contient des données pour les ensembles de données de formation, de validation et de test du modèle Marian-MT.
3. distribution_test contient les fichiers de test pour la section Shift de distribution (polynôme, trgonométrique et logarithmique).

Citation

Veuillez nous citer si vous utilisez notre travail dans votre recherche.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }