differentiable proving

Model bahasa pretrained juga pemecah matematika simbolis

Ini adalah kode yang berisi repositori dan data untuk kertas:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy dan P. Jamshidi. Model bahasa pretrained juga pemecah matematika simbolis!

Situs web proyek

Prasyarat

Kode ini tergantung pada paket berikut:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Struktur

• trainer.py berisi kode untuk menyempurnakan model bahasa pra-terlatih. Harap ubah parameter berikut untuk menjalankan:

  1. language : Bahasa pra-terlatih.
  2. Model_Type : mbart atau marian.
  3. path1 dan path2 : Jalur pelatihan dan data validasi.
  4. max_input_length dan max_output_length : 1024 untuk model MBART dan 512 untuk model Marian-MT.
  5. model_name : Nama model yang ingin Anda simpan.

• evaluator.py berisi kode untuk mengevaluasi model bahasa yang disempurnakan pada data matematika simbolik. Harap ubah parameter 1-4 sama dengan bagian trainer dan juga ubah parameter berikut:

  1. path : Jalur dataset uji.
  2. saved_model : Jalur model yang disimpan disimpan.

• src/hf_utils.py berisi kode untuk membaca dataset dan beberapa utilitas untuk evaluasi.

Sisa kode diadopsi dari pembelajaran mendalam untuk matematika simbolik (Lample et al.).

Kumpulan data

Dataset tersedia di sini.

1. train , valid , dan file test berisi pelatihan, validasi, dan pengujian set data untuk model MBART.
2. language_data berisi data untuk pelatihan, validasi dan set data dari model Marian-MT.
3. distribution_test berisi file uji untuk bagian shift distribusi (polinomial, trgonometri dan logaritmik).

Kutipan

Silakan mengutip kami jika Anda menggunakan pekerjaan kami dalam penelitian Anda.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }