differentiable proving

Vorbereitete Sprachmodelle sind auch symbolische Mathematiklöser

Dies ist ein Repository mit Code und Daten für das Papier:

K. Noorbakhsh, M. Sulaiman, M. Sharifi, K. Roy und P. Jamshidi. Vorbereitete Sprachmodelle sind auch symbolische Mathematiklöser!

Projektwebsite

Voraussetzungen

Dieser Code hängt von den folgenden Paketen ab:

1. Torch
2. NumPy
3. SymPy
4. Transformers
5. Apex

Struktur

• trainer.py enthält Code zur Feinabstimmung der vorgeborenen Sprachmodelle. Bitte ändern Sie die folgenden Parameter für das Ausführen:

  1. language : Die vorgebrachte Sprache.
  2. Model_Type : mbart oder marian.
  3. path1 und path2 : Der Pfad des Trainings und der Validierungsdaten.
  4. max_input_length und max_output_length : 1024 für das MBART-Modell und 512 für das Marian-Mt-Modell.
  5. model_name : Name des Modells, das Sie speichern möchten.

• evaluator.py enthält Code zur Bewertung des fein abgestimmten Sprachmodells in den symbolischen mathematischen Daten. Bitte ändern Sie den Parameter 1-4 wie der trainer und ändern Sie auch den folgenden Parameter:

  1. path : Der Pfad des Testdatensatzes.
  2. saved_model : Der Pfad des gespeicherten Feinabstimmungsmodells.

• src/hf_utils.py enthält Code zum Lesen der Datensätze und einige Dienstprogramme zur Bewertung.

Der Rest des Code wird aus dem tiefen Lernen für symbolische Mathematik übernommen (Lample et al.).

Datensätze

Die Datensätze sind hier verfügbar.

1. train , valid und test enthalten die Schulungs-, Validierungs- und Testdatensätze für das MBART -Modell.
2. language_data enthält Daten für die Schulungs-, Validierungs- und Testdatensätze des Marian-MT-Modells.
3. distribution_test enthält die Testdateien für den Abschnitt "Verteilungsverschiebung" (Polynom, trgonometrisch und logarithmisch).

Zitat

Bitte zitieren Sie uns, wenn Sie unsere Arbeit in Ihrer Forschung verwenden.

 @article{noorbakhsh2021pretrained,
    title={Pretrained Language Models are Symbolic Mathematics Solvers too!}, 
    author={Kimia Noorbakhsh and Modar Sulaiman and Mahdi Sharifi and Kallol Roy and Pooyan Jamshidi},
    journal={arXiv preprint arXiv:2110.03501},
    year={2021}
 }