albert_pytorch

Английская версия |中文版说明

albert_pytorch

Этот репозиторий содержит реализацию модели Альберта из бумаги из бумаги

Lite Bert для самоотверженных представлений об обучении языка

Чжэнчжонг Лан. Mingda Chen ....

Зависимости

• Pytorch = 1,10
• cuda = 9,0
• cudnn = 7,5
• Scikit-learn
• предложение

Скачать предварительно обученные модели английского языка

Официальные ссылки на скачивание: Google Albert

Адаптируйтесь к этой версии ， Скачать модель Pytorch (Google Drive):

v1

• albert_base_v1.zip
• albert_large_v1.zip
• albert_xlarge_v1.zip
• albert_xxlarge_v1.zip

v2

• albert_base_v2.zip
• albert_large_v2.zip
• albert_xlarge_v2.zip
• albert_xxlarge_v2.zip

Тонкая настройка

１. Поместите config.json и 30k-clean.model в каталог prev_trained_model/albert_base_v2 . пример:

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．convert Albert TF Checkpoint в Pytorch

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

Оценка общего языка (клей).

Прежде чем запустить кого -либо из этих задач Glue, вы должны загрузить данные Glue, запустив этот сценарий и распаковывать его в какую -то каталог $ data_dir.

3．run sh scripts/run_classifier_sst2.sh для тонкой настройки Albert Model

Результат

Производительность Albert On Glue Claincmark Результаты с использованием установки с одной модели на Dev :

	Кола	SST-2	Mnli	STS-B
показатель	Matthews_corrcoef	точность	точность	Пирсон

модель	Кола	SST-2	Mnli	STS-B
albert_base_v2	0,5756	0,926	0,8418	0,9091
albert_large_v2	0,5851	0,9507		0,9151
albert_xlarge_v2	0,6023			0,9221