Bert Multi Label Text Classification
1.0.0
该回购包含用于多标签文本分类的预审计BERT和XLNET模型的Pytorch实现。
从项目的根源上看，您将看到：
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── basic_config.py #a configuration file for storing model parameters
| └── dataset
| └── io
| | └── dataset.py
| | └── data_transformer.py
| └── model
| | └── nn
| | └── pretrain
| └── output #save the ouput of model
| └── preprocessing #text preprocessing
| └── train #used for training a model
| | └── trainer.py
| | └── ...
| └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py
您需要下载验证的BERT模型和XLNET模型。
伯特：伯特 - 基本
XLNET：XLNET-BASE CASES
从S3下载BERT预估计的模型
从S3下载Bert配置文件
从S3下载BERT词汇文件
重命名：
bert-base-uncased-pytorch_model.bin至pytorch_model.binbert-base-uncased-config.json至config.jsonbert-base-uncased-vocab.txt to bert_vocab.txt将model ， config和vocab文件放入/pybert/pretrain/bert/base-uncased uncandory中。
pip install pytorch-transformers 。
下载Kaggle数据并放置在pybert/dataset集中。
io.task_data.py来调整数据。在pybert/configs/basic_config.py中修改配置信息（数据路径，...）。
运行python run_bert.py --do_data到达预处理数据。
运行python run_bert.py --do_train --save_best --do_lower_case到微调bert模型。
run run_bert.py --do_test --do_lower_case预测新数据。
[training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922
- - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 
