differentiable proving

Modelos de idiomas pré -treinados são solucionadores de matemática simbólica também

Este é um repositório contendo código e dados para o artigo:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy e P. Jamshidi. Modelos de idiomas pré -criados também são solucionadores de matemática simbólica!

Site do projeto

Pré-requisitos

Este código depende dos seguintes pacotes:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Estrutura

• trainer.py contém código para ajustar os modelos de idiomas pré-treinados. Modifique os seguintes parâmetros para a corrida:

  1. language : o idioma pré-treinado.
  2. Model_Type : MBART ou Marian.
  3. path1 e path2 : O caminho dos dados de treinamento e validação.
  4. max_input_length e max_output_length : 1024 para o modelo MBART e 512 para o modelo Marian-MT.
  5. model_name : Nome do modelo que você deseja salvar.

• evaluator.py contém código para avaliar o modelo de linguagem ajustado nos dados simbólicos de matemática. Modifique o parâmetro 1-4 o mesmo que a seção trainer e também modifique o seguinte parâmetro:

  1. path : o caminho do conjunto de dados de teste.
  2. saved_model : O caminho do modelo de ajuste fino salvo.

• src/hf_utils.py contém código para ler os conjuntos de dados e alguns utilitários para avaliação.

O restante do Código é adotado da aprendizagem profunda para matemática simbólica (Lample et al.).

Conjuntos de dados

Os conjuntos de dados estão disponíveis aqui.

1. Os arquivos train , valid e test contêm os conjuntos de dados de treinamento, validação e teste para o modelo MBART.
2. language_data contém dados para os conjuntos de dados de treinamento, validação e teste do modelo Marian-MT.
3. distribution_test contém os arquivos de teste para a seção de mudança de distribuição (Polinomial, Trgonométrico e Logarítmico).

Citação

Cite -nos se você usar nosso trabalho em sua pesquisa.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }