LIMIT BERT

Limite-Bert

Conteúdo

1. Requisitos
2. Treinamento

Requisitos

• Python 3.6 ou superior.
• Cython 0.25.2 ou qualquer versão compatível.
• Pytorch 1.0.0+.
• Evalb. Antes de iniciar, execute make dentro do EVALB/ Diretório para compilar um executável evalb . Isso será chamado de Python para avaliação.
• Pytorch-Transformers Pytorch 1.0.0+ ou qualquer versão compatível.

Modelos pré-treinados (Pytorch)

Os seguintes modelos pré-treinados estão disponíveis para download do Google Drive:

• LIMIT-BERT : versão pytorch, a mesma configuração com o modelo de carregamento de Bert-Large-WWM com pytorch-transformadores.

Treinamento

Para treinar limite-bert, basta correr:

 sh run_limitbert.sh

Instruções de avaliação

Para testar após definir o caminho do modelo:

 sh test_bert.sh