differentiable proving

Los modelos de idiomas previos a la aparición también son solucionadores de matemáticas simbólicas

Este es un código de repositorio que contiene y datos para el documento:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy y P. Jamshidi. ¡Los modelos lingüísticos previos a la aparición son solucionadores de matemáticas simbólicas también!

Sitio web del proyecto

Requisitos previos

Este código depende de los siguientes paquetes:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Estructura

• trainer.py contiene código para ajustar los modelos de lenguaje previamente capacitados. Modifique los siguientes parámetros para ejecutar:

  1. language : el idioma previamente capacitado.
  2. Model_Type : Mbart o Marian.
  3. path1 y path2 : la ruta de la capacitación y los datos de validación.
  4. max_input_length y max_output_length : 1024 para el modelo MBART y 512 para el modelo Marian-MT.
  5. model_name : nombre del modelo que desea guardar.

• evaluator.py contiene código para evaluar el modelo de lenguaje ajustado en los datos de matemáticas simbólicas. Modifique el parámetro 1-4 igual que la sección trainer y también modifique el siguiente parámetro:

  1. path : la ruta del conjunto de datos de prueba.
  2. saved_model : la ruta del modelo guardado ajustado.

• src/hf_utils.py contiene código para leer los conjuntos de datos y algunas utilidades para la evaluación.

El resto del Código se adopta del aprendizaje profundo para las matemáticas simbólicas (Lample et al.).

Conjuntos de datos

Los conjuntos de datos están disponibles aquí.

1. Los archivos de train , valid y test contienen los conjuntos de datos de capacitación, validación y prueba para el modelo MBART.
2. language_data contiene datos para los conjuntos de datos de capacitación, validación y prueba del modelo Marian-MT.
3. distribution_test contiene los archivos de prueba para la sección de cambio de distribución (polinomio, trgonométrico y logarítmico).

Citación

Por favor, cíquanos si usa nuestro trabajo en su investigación.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }