differentiable proving

사전 예방 된 언어 모델은 상징적 수학 솔버도 있습니다

이것은 논문의 코드 및 데이터를 포함하는 저장소입니다.

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy 및 P. Jamshidi. 사전 예방 된 언어 모델은 상징적 수학 솔버도 있습니다!

프로젝트 웹 사이트

사전 반품

이 코드는 다음 패키지에 따라 다릅니다.

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

구조

• trainer.py 에는 미리 훈련 된 언어 모델을 미세 조정하기위한 코드가 포함되어 있습니다. 실행을위한 다음 매개 변수를 수정하십시오.

  1. language : 미리 훈련 된 언어.
  2. Model_Type : MBART 또는 Marian.
  3. path1 및 path2 : 훈련 경로 및 검증 데이터.
  4. max_input_length 및 max_output_length : 1024 MBART 모델의 경우 1024, Marian-MT 모델의 경우 512.
  5. model_name : 저장하려는 모델 이름.

• evaluator.py 에는 상징적 수학 데이터에 대한 미세 조정 언어 모델을 평가하기위한 코드가 포함되어 있습니다. trainer 섹션과 동일한 매개 변수 1-4를 수정하고 다음 매개 변수도 수정하십시오.

  1. path : 테스트 데이터 세트의 경로.
  2. saved_model : 저장된 미세 조정 모델의 경로.

• src/hf_utils.py 에는 데이터 세트를 읽기위한 코드와 평가를위한 일부 유틸리티가 포함되어 있습니다.

코드의 나머지 부분은 상징적 수학을 위해 딥 러닝에서 채택되었습니다 (Lample et al.).

데이터 세트

데이터 세트는 여기에서 사용할 수 있습니다.

1. train , valid 및 test 파일에는 MBART 모델의 교육, 검증 및 테스트 데이터 세트가 포함되어 있습니다.
2. language_data 에는 Marian-MT 모델의 교육, 검증 및 테스트 데이터 세트에 대한 데이터가 포함되어 있습니다.
3. distribution_test 분포 시프트 섹션 (다항식, trgonometric 및 logarithmic)에 대한 테스트 파일이 포함되어 있습니다.

소환

귀하의 연구에서 우리의 작업을 사용하면 우리를 인용하십시오.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }