albert_pytorch

Versão em inglês |中文版说明

ALBERT_PYTORCH

Este repositório contém uma implementação de Pytorch do modelo Albert do artigo

Um Lite Bert para representações de idiomas de aprendizado auto-supervisionado

Por Zhenzhong Lan. Mingda Chen ....

Dependências

• pytorch = 1.10
• CUDA = 9.0
• cudnn = 7,5
• Scikit-Learn
• peça de frase

Baixar modelos pré-treinados de inglês

Links oficiais de download: Google Albert

Adapte -se a esta versão ， Baixe o modelo Pytorch (Google Drive):

v1

• Albert_base_v1.zip
• ALBERT_LARGE_V1.ZIP
• ALBERT_XLARGE_V1.ZIP
• ALBERT_XXLARGE_V1.ZIP

v2

• ALBERT_BASE_V2.ZIP
• ALBERT_LARGE_V2.ZIP
• ALBERT_XLARGE_V2.ZIP
• ALBERT_XXLARGE_V2.ZIP

Afinação

１. Coloque config.json e 30k-clean.model no diretório prev_trained_model/albert_base_v2 . exemplo:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．Convert Albert TF Ponto de verificação para Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

O benchmark de avaliação de Entendendo a Linguagem Geral (CLUE) é uma coleção de nove tarefas de compreensão de idiomas de duas frases ou pares de frases para avaliar e analisar sistemas de compreensão de linguagem natural.

Antes de executar qualquer um dessas tarefas de cola, você deve baixar os dados de cola executando este script e descompacte em algum diretório $ data_dir.

3．run sh scripts/run_classifier_sst2.sh para ajuste fino albert modelo

Resultado

Desempenho de Albert nos resultados de referência de cola usando uma configuração de modelo único no dev :

	Cola	SST-2	Mnli	STS-B
métrica	matthews_corrcoef	precisão	precisão	Pearson

modelo	Cola	SST-2	Mnli	STS-B
ALBERT_BASE_V2	0,5756	0,926	0,8418	0.9091
ALBERT_LARGE_V2	0,5851	0,9507		0,9151
ALBERT_XLARGE_V2	0,6023			0,9221