differentiable proving

審慎的語言模型也是符號數學求解器

這是一個包含本文的代碼和數據的存儲庫：

K. Noorbakhsh，M。 Sulaiman，M。 Sharifi，K。 Roy和P. Jamshidi。審慎的語言模型也是符號數學求解器！

項目網站

先決條件

此代碼取決於以下軟件包：

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

結構

• trainer.py包含用於微調預訓練的語言模型的代碼。請修改以下參數以進行運行：

  1. language ：預訓練的語言。
  2. Model_Type ：Mbart或Marian。
  3. path1和path2 ：訓練和驗證數據的路徑。
  4. max_input_length和max_output_length ：1024用於MBART模型，Marian-MT模型為512。
  5. model_name ：要保存的模型的名稱。

• evaluator.py包含用於評估符號數學數據的微調語言模型的代碼。請修改參數1-4與trainer部分相同，並修改以下參數：

  1. path ：測試數據集的路徑。
  2. saved_model ：保存微型模型的路徑。

• src/hf_utils.py包含用於讀取數據集的代碼和一些用於評估的實用程序。

該代碼的其餘部分是從符號數學的深度學習中採用的（Lample等人）。

數據集

數據集可在此處提供。

1. train ， valid和test文件包含MBART模型的培訓，驗證和測試數據集。
2. language_data包含Marian-MT模型的培訓，驗證和測試數據集的數據。
3. distribution_test包含分發偏移部分的測試文件（多項式，TRGONOMETRIC和GOORGARITHMIC）。

引用

如果您在研究中使用我們的工作，請引用我們。

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }