LIMIT BERT

Limit-bert

Contenido

1. Requisitos
2. Capacitación

Requisitos

• Python 3.6 o superior.
• Cython 0.25.2 o cualquier versión compatible.
• Pytorch 1.0.0+.
• Evalb. Antes de comenzar, ejecute make dentro del Directorio EVALB/ para compilar un ejecutable evalb . Esto se llamará desde Python para su evaluación.
• Pytorch-Transformers Pytorch 1.0.0+ o cualquier versión compatible.

Modelos previamente capacitados (Pytorch)

Los siguientes modelos previamente capacitados están disponibles para descargar desde Google Drive:

• LIMIT-BERT : versión de Pytorch, la misma configuración con Bert-Large-WWM, modelo de carga con Transformadores Pytorch.

Capacitación

Para entrenar Limit-Bert, simplemente ejecute:

 sh run_limitbert.sh

Instrucciones de evaluación

Probar después de configurar la ruta del modelo:

 sh test_bert.sh