differentiable proving

نماذج اللغة المسبقة هي حلول رياضيات رمزية أيضًا

هذا مستودع يحتوي على رمز وبيانات للورقة:

K. Noorbakhsh ، M. Sulaiman ، M. Sharifi ، K. Roy and P. Jamshidi. نماذج اللغة المسبقة هي حلول رياضيات رمزية أيضًا!

موقع المشروع

المتطلبات المسبقة

يعتمد هذا الرمز على الحزم التالية:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

بناء

• يحتوي trainer.py على رمز لضبط نماذج اللغة التي تم تدريبها مسبقًا. يرجى تعديل المعلمات التالية للتشغيل:

  1. language : اللغة التي تم تدريبها مسبقًا.
  2. Model_Type : mbart أو ماريان.
  3. path1 و path2 : مسار التدريب وبيانات التحقق من الصحة.
  4. max_input_length و max_output_length : 1024 لنموذج MBART و 512 لنموذج Marian-MT.
  5. model_name : اسم النموذج الذي ترغب في حفظه.

• يحتوي evaluator.py على رمز لتقييم نموذج اللغة الدقيقة على بيانات الرياضيات الرمزية. يرجى تعديل المعلمة 1-4 مثل قسم trainer وكذلك تعديل المعلمة التالية:

  1. path : مسار مجموعة بيانات الاختبار.
  2. saved_model : مسار النموذج المحفوظ المدفوع.

• يحتوي src/hf_utils.py على رمز لقراءة مجموعات البيانات وبعض الأدوات المساعدة للتقييم.

يتم اعتماد بقية الكود من التعلم العميق للرياضيات الرمزية (Lample et al.).

مجموعات البيانات

مجموعات البيانات متوفرة هنا.

1. تحتوي ملفات train valid test على مجموعات بيانات التدريب والتحقق من الصحة والاختبار لنموذج MBART.
2. تحتوي language_data على بيانات لمجموعات بيانات التدريب والتحقق من صحة واختبار نموذج Marian-MT.
3. يحتوي distribution_test على ملفات الاختبار لقسم تحول التوزيع (متعدد الحدود ، trgonometric واللوغاريتمي).

اقتباس

يرجى الاستشهاد بنا إذا كنت تستخدم عملنا في بحثك.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }