albert_pytorch

Englische Version |中文版说明

Albert_pytorch

Dieses Repository enthält eine Pytorch -Implementierung des Albert -Modells aus dem Papier

Ein Lite Bert für selbstbewertete Lernsprache Darstellungen

von Zhenzhong Lan. Mingda Chen ....

Abhängigkeiten

• pytorch = 1.10
• CUDA = 9,0
• cudnn = 7,5
• Scikit-Learn
• Satzstück

Download vorgebildete englische Modelle

Offizielle Download -Links: Google Albert

Anpassen an diese Version ， Pytorch -Modell herunterladen (Google Drive):

v1

• Albert_Base_v1.zip
• ALBERT_LARGE_V1.zip
• Albert_xlarge_v1.zip
• Albert_xxlarge_v1.zip

v2

• Albert_Base_V2.zip
• ALBERT_LARGE_V2.zip
• Albert_xlarge_v2.zip
• Albert_xxlarge_v2.zip

Feinabstimmung

１. Platzieren Sie config.json und 30k-clean.model in das Verzeichnis prev_trained_model/albert_base_v2 . Beispiel:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．Convert Albert TF Checkpoint zu Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

Die allgemeine Benchmark für die Bewertung des allgemeinen Sprachverständnisses ist eine Sammlung von neun Satz- oder Satz-Pair-Sprachverständnisaufgaben zur Bewertung und Analyse von Systemen für das Verständnis der natürlichen Sprache.

Bevor Sie jemanden dieser Kleberaufgaben ausführen, sollten Sie die Klebendaten herunterladen, indem Sie dieses Skript ausführen und auf ein Verzeichnis $ data_dir auspacken.

3．run sh scripts/run_classifier_sst2.sh , um das Albert -Modell zu feinen

Ergebnis

Leistung von Albert on Leim Benchmark-Ergebnissen unter Verwendung eines Einzelmodell-Setups auf Dev :

	Cola	SST-2	Mnli	STS-B
metrisch	Matthews_Corrcoef	Genauigkeit	Genauigkeit	Pearson

Modell	Cola	SST-2	Mnli	STS-B
Albert_base_v2	0,5756	0,926	0,8418	0,9091
ALBERT_LARGE_V2	0,5851	0,9507		0,9151
Albert_xlarge_v2	0,6023			0,9221