Bert Multi Label Text Classification

Multi-Label Text Classification с помощью Pytorch

Этот репо содержит реализацию Pytorch модели BERT и XLNET для многоцелевой текстовой классификации.

Структура кода

В корне проекта вы увидите:

 ├── pybert
|  └── callback
|  |  └── lrscheduler.py　　
|  |  └── trainingmonitor.py　
|  |  └── ...
|  └── config
|  |  └── basic_config.py #a configuration file for storing model parameters
|  └── dataset　　　
|  └── io　　　　
|  |  └── dataset.py　　
|  |  └── data_transformer.py　　
|  └── model
|  |  └── nn　
|  |  └── pretrain　
|  └── output #save the ouput of model
|  └── preprocessing #text preprocessing 
|  └── train #used for training a model
|  |  └── trainer.py 
|  |  └── ...
|  └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py

Зависимости

• CSV
• TQDM
• Numpy
• маринованный
• Scikit-learn
• Pytorch 1.1+
• matplotlib
• Панды
• Трансформаторы = 2,5,1

Как использовать код

Вам нужно скачать предварительную модель BERT и модель XLNET.

БЕРТ: БЕРТ-базовые открытые

XLnet: xlnet-base-case

1. Загрузите модель Bert Pretredsed от S3

2. Загрузите файл конфигурации BERT от S3

3. Загрузите файл Bert Vocab от S3

4. Переименовать:

   • bert-base-uncased-pytorch_model.bin TO pytorch_model.bin
   • bert-base-uncased-config.json to config.json
   • bert-base-uncased-vocab.txt to bert_vocab.txt

5. Поместите model , config и vocab в каталог /pybert/pretrain/bert/base-uncased .

6. pip install pytorch-transformers от GitHub.

7. Загрузите данные Kaggle и место в pybert/dataset .

   • Вы можете изменить io.task_data.py , чтобы адаптировать ваши данные.

8. Измените информацию о конфигурации в pybert/configs/basic_config.py (путь данных, ...).

9. Запустите python run_bert.py --do_data для предварительного обработки данных.

10. Запустите python run_bert.py --do_train --save_best --do_lower_case для тонкой настройки модели Bert.

11. Run run_bert.py --do_test --do_lower_case для прогнозирования новых данных.

обучение

 [training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO  
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922

тренировочная фигура

результат

 - - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 

Советы

• При преобразовании контрольной точки TensorFlow в Pytorch ожидается, что «bert_model.ckpt» вместо «bert_model.ckpt.index» в качестве входного файла. В противном случае вы увидите, что модель ничего не может научиться и дать почти одинаковые случайные выходы для любых входов. Это означает, что на самом деле вы не загрузили истинный CKPT для своей модели
• При использовании нескольких графических процессоров нетражные расчеты, такие как точность и F1_SCORE, не поддерживаются экземпляром DataParallel
• Как рекомендуется Джокоб в своей статье https://arxiv.org/pdf/1810.04805.pdf, в задачах с тонкой настройкой, ожидается, что гиперпараметры будут устанавливать следующие действия: batch_size : 16 или 32, Learning_rate : 5e-5 или 2e-5 или 3e-5, num_train_ep : 3 или 4.
• Предварительная модель имеет предел для предложения входного ввода, что ее длина должна не превышать 512, максимальное положение вкладывает DIM. Данные впадают в модель как: RAW_DATA -> WordPieces -> Модель. Обратите внимание, что длина словесных писем, как правило, больше, чем у Raw_data, поэтому безопасная максимальная длина raw_data составляет ~ 128 - 256
• После тестирования мы обнаружили, что тонкая настройка всех слоев может получить гораздо лучшие результаты, чем у тонкой настройки последнего слоя класса. Последний на самом деле основан на функциях