albert_pytorch

Version anglaise |中文版说明

albert_pytorch

Ce référentiel contient une implémentation pytorch du modèle Albert à partir du document

Un lite bert pour les représentations de la langue d'apprentissage auto-supervisée

par Zhenzhong Lan. Mingda Chen ....

Dépendances

• pytorch = 1,10
• cuda = 9,0
• CUDNN = 7,5
• scikit-apprend
• phrase

Télécharger les modèles d'anglais pré-formés

Liens de téléchargement officiels: Google Albert

S'adapter à cette version ， Télécharger le modèle Pytorch (Google Drive):

v1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

v2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

Réglage fin

１. Placez config.json et 30k-clean.model dans le répertoire prev_trained_model/albert_base_v2 . exemple:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．Convert Albert TF Point de contrôle à Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

La référence d'évaluation générale de la compréhension du langage (GLUE) est une collection de neuf tâches de compréhension du langage des phrases ou des phrases pour évaluer et analyser les systèmes de compréhension du langage naturel.

Avant d'exécuter quelqu'un de ces tâches de colle, vous devez télécharger les données de colle en exécutant ce script et les déballer dans un répertoire $ data_dir.

3．run sh scripts/run_classifier_sst2.sh To Fine Tuning Albert Modèle

Résultat

Performance d'Albert sur les résultats de référence à colle en utilisant une configuration à modèle unique sur Dev :

	Cola	SST-2	MNLI	STS-B
métrique	Matthews_corrcoef	précision	précision	Pearson

modèle	Cola	SST-2	MNLI	STS-B
albert_base_v2	0,5756	0,926	0,8418	0,9091
albert_large_v2	0,5851	0,9507		0,9151
albert_xlarge_v2	0,6023			0,9221