differentiable proving

แบบจำลองภาษาที่ผ่านการฝึกฝนเป็นนักแก้ปัญหาคณิตศาสตร์สัญลักษณ์ด้วยเช่นกัน

นี่คือพื้นที่เก็บข้อมูลที่มีรหัสและข้อมูลสำหรับกระดาษ:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy และ P. Jamshidi แบบจำลองภาษาที่ผ่านการฝึกฝนเป็นนักแก้ปัญหาคณิตศาสตร์สัญลักษณ์ด้วย!

เว็บไซต์โครงการ

สิ่งที่ต้องมีก่อน

รหัสนี้ขึ้นอยู่กับแพ็คเกจต่อไปนี้:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

โครงสร้าง

• trainer.py มีรหัสสำหรับการปรับแต่งแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน โปรดแก้ไขพารามิเตอร์ต่อไปนี้สำหรับการรัน:

  1. language : ภาษาที่ผ่านการฝึกอบรมมาก่อน
  2. Model_Type : Mbart หรือ Marian
  3. path1 และ path2 : เส้นทางของการฝึกอบรมและข้อมูลการตรวจสอบความถูกต้อง
  4. max_input_length และ max_output_length : 1024 สำหรับรุ่น MBART และ 512 สำหรับรุ่น Marian-MT
  5. model_name : ชื่อของรุ่นที่คุณต้องการบันทึก

• evaluator.py มีรหัสสำหรับการประเมินรูปแบบภาษาที่ปรับแต่งอย่างละเอียดในข้อมูลคณิตศาสตร์เชิงสัญลักษณ์ โปรดแก้ไขพารามิเตอร์ 1-4 เหมือนกับส่วน trainer และแก้ไขพารามิเตอร์ต่อไปนี้:

  1. path : เส้นทางของชุดข้อมูลทดสอบ
  2. saved_model : เส้นทางของรุ่นที่ปรับแต่งได้ดี

• src/hf_utils.py มีรหัสสำหรับการอ่านชุดข้อมูลและยูทิลิตี้บางอย่างสำหรับการประเมินผล

ส่วนที่เหลือของรหัสถูกนำมาใช้จากการเรียนรู้เชิงลึกสำหรับคณิตศาสตร์สัญลักษณ์ (Lample et al.)

ชุดข้อมูล

ชุดข้อมูลมีอยู่ที่นี่

1. ไฟล์ train valid และไฟล์ test ประกอบด้วยชุดข้อมูลการฝึกอบรมการตรวจสอบและทดสอบสำหรับโมเดล MBART
2. language_data มีข้อมูลสำหรับชุดข้อมูลการฝึกอบรมการตรวจสอบและทดสอบของโมเดล Marian-MT
3. distribution_test มีไฟล์ทดสอบสำหรับส่วนการเปลี่ยนการกระจาย (พหุนาม, trgonometric และลอการิทึม)

การอ้างอิง

โปรดอ้างอิงเราหากคุณใช้งานของเราในการวิจัยของคุณ

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }