albert_pytorch

Versión en inglés |中文版说明

albert_pytorch

Este repositorio contiene una implementación de Pytorch del modelo Albert del documento

Un bert lite para representaciones de lenguaje de aprendizaje auto-supervisado

por Zhenzhong Lan. Mingda Chen ...

Dependencias

• pytorch = 1.10
• CUDA = 9.0
• Cudnn = 7.5
• lear
• correa de oración

Descargar modelos de inglés previamente capacitados

Enlaces de descarga oficial: Google Albert

Adaptarse a esta versión, descargue el modelo Pytorch (Google Drive):

V1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

V2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

Sintonia FINA

１. Coloque config.json y 30k-clean.model prev_trained_model/albert_base_v2 ejemplo:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2． Convertir el punto de control de Albert TF a Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

El punto de referencia de evaluación general de comprensión del lenguaje (pegamento) es una colección de nueve tareas de comprensión de lenguaje de oraciones o oraciones para evaluar y analizar los sistemas de comprensión del lenguaje natural.

Antes de ejecutar cualquiera de estas tareas de pegamento, debe descargar los datos de pegamento ejecutando este script y desempaquetarlo en algún directorio $ data_dir.

3．run sh scripts/run_classifier_sst2.sh para ajustar el modelo Albert

Resultado

Rendimiento de Albert en los resultados de referencia de pegamento utilizando una configuración de modelo único en dev :

	Reajuste salarial	SST-2	Mnli	STS-B
métrico	matthews_corrcoef	exactitud	exactitud	perea

modelo	Reajuste salarial	SST-2	Mnli	STS-B
albert_base_v2	0.5756	0.926	0.8418	0.9091
albert_large_v2	0.5851	0.9507		0.9151
Albert_xlarge_v2	0.6023			0.9221