differentiable proving

审慎的语言模型也是符号数学求解器

这是一个包含本文的代码和数据的存储库：

K. Noorbakhsh，M。Sulaiman，M。Sharifi，K。Roy和P. Jamshidi。审慎的语言模型也是符号数学求解器！

项目网站

先决条件

此代码取决于以下软件包：

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

结构

• trainer.py包含用于微调预训练的语言模型的代码。请修改以下参数以进行运行：

  1. language ：预训练的语言。
  2. Model_Type ：Mbart或Marian。
  3. path1和path2 ：训练和验证数据的路径。
  4. max_input_length和max_output_length ：1024用于MBART模型，Marian-MT模型为512。
  5. model_name ：要保存的模型的名称。

• evaluator.py包含用于评估符号数学数据的微调语言模型的代码。请修改参数1-4与trainer部分相同，并修改以下参数：

  1. path ：测试数据集的路径。
  2. saved_model ：保存微型模型的路径。

• src/hf_utils.py包含用于读取数据集的代码和一些用于评估的实用程序。

该代码的其余部分是从符号数学的深度学习中采用的（Lample等人）。

数据集

数据集可在此处提供。

1. train ， valid和test文件包含MBART模型的培训，验证和测试数据集。
2. language_data包含Marian-MT模型的培训，验证和测试数据集的数据。
3. distribution_test包含分发偏移部分的测试文件（多项式，TRGONOMETRIC和GOORGARITHMIC）。

引用

如果您在研究中使用我们的工作，请引用我们。

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }