differentiable proving

事前に保護された言語モデルは、象徴的な数学ソルバーでもあります

これは、ペーパーのコードとデータを含むリポジトリです。

K. Noorbakhsh、M。Sulaiman、M。Sharifi、K。Roy、P。Jamshidi。事前に保護された言語モデルは、象徴的な数学ソルバーでもあります！

プロジェクトWebサイト

前提条件

このコードは、次のパッケージに依存します。

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

構造

• trainer.pyは、事前に訓練された言語モデルを微調整するためのコードが含まれています。実行するために次のパラメーターを変更してください。

  1. language ：事前に訓練された言語。
  2. Model_Type ：MBARTまたはMARIAN。
  3. path1およびpath2 ：トレーニングのパスと検証データ。
  4. max_input_lengthおよびmax_output_length ：MBARTモデルでは1024、Marian-MTモデルでは512。
  5. model_name ：保存するモデルの名前。

• evaluator.pyには、シンボリック数学データの微調整された言語モデルを評価するためのコードが含まれています。 trainerセクションと同じパラメーター1-4を変更し、次のパラメーターも変更してください。

  1. path ：テストデータセットのパス。
  2. saved_model ：保存された微調整モデルのパス。

• src/hf_utils.pyには、データセットを読み取るためのコードと評価のためのいくつかのユーティリティが含まれています。

コードの残りの部分は、象徴的な数学の深い学習から採用されています（Lample et al。）。

データセット

データセットはこちらから入手できます。

1. train 、 valid 、 testファイルには、MBARTモデルのトレーニング、検証、およびテストデータセットが含まれています。
2. language_dataには、Marian-MTモデルのトレーニング、検証、およびテストデータセットのデータが含まれています。
3. distribution_testは、分布シフトセクション（多項式、Trgonometric、対数）のテストファイルが含まれます。

引用

あなたがあなたの研究で私たちの仕事を使うならば、私たちを引用してください。

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }