albert_pytorch

영어 버전 |中文版说明

Albert_pytorch

이 저장소에는 논문에서 Albert 모델의 Pytorch 구현이 포함되어 있습니다.

자체 감독 학습 언어 표현을위한 라이트 버트

Zhenzhong Lan. Mingda Chen ....

의존성

• Pytorch = 1.10
• CUDA = 9.0
• CUDNN = 7.5
• Scikit-Learn
• 문장

미리 훈련 된 영어 모델을 다운로드하십시오

공식 다운로드 링크 : Google Albert

이 버전에 적응하고 Pytorch Model (Google Drive)을 다운로드하십시오.

v1

• albert_base_v1.zip
• Albert_large_v1.zip
• Albert_xlarge_v1.zip
• Albert_xxlarge_v1.zip

v2

• albert_base_v2.zip
• Albert_large_v2.zip
• Albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

미세 조정

１. config.json 및 30k-clean.model 을 prev_trained_model/albert_base_v2 디렉토리에 배치하십시오. 예:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2． Convert Albert TF 체크 포인트는 Pytorch에 있습니다

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

일반 언어 이해 평가 (Glue) 벤치 마크는 자연어 이해 시스템을 평가하고 분석하기위한 9 개의 문장 또는 문장 쌍 언어 이해 작업의 모음입니다.

이러한 접착제 작업 중 하나를 실행하기 전에이 스크립트를 실행하여 접착제 데이터를 다운로드하고 일부 Directory $ Data_dir로 포장을 풀어야합니다.

3 run sh scripts/run_classifier_sst2.sh 에서 미세 조정 Albert 모델

결과

Dev 에서 단일 모델 설정을 사용한 Albert on Glue 벤치 마크 결과의 성능 :

	콜라	SST-2	mnli	STS-B
메트릭	MATTHEWS_CORRCOEF	정확성	정확성	피어슨

모델	콜라	SST-2	mnli	STS-B
Albert_base_v2	0.5756	0.926	0.8418	0.9091
Albert_large_v2	0.5851	0.9507		0.9151
Albert_xlarge_v2	0.6023			0.9221