LIMIT BERT

Limite de limite

Contenu

1. Exigences
2. Entraînement

Exigences

• Python 3,6 ou plus.
• Cython 0.25.2 ou toute version compatible.
• Pytorch 1.0.0+.
• EVALB. Avant de commencer, exécutez make à l'intérieur de l' EVALB/ répertoire pour compiler un exécutable evalb . Cela sera appelé de Python pour l'évaluation.
• pytorch-transformateurs pytorch 1.0.0+ ou toute version compatible.

Modèles pré-formés (pytorch)

Les modèles pré-formés suivants sont disponibles en téléchargement sur Google Drive:

• LIMIT-BERT : version pytorch, même réglage avec le modèle de chargement Bert-Large-WWM avec des transformateurs pytorch.

Entraînement

Pour entraîner Limit-Bert, courez simplement:

 sh run_limitbert.sh

Instructions d'évaluation

Pour tester après la définition du chemin du modèle:

 sh test_bert.sh