Bert Multi Label Text Classification
1.0.0
Ce repo contient une implémentation Pytorch du modèle Bert et XLNET pré-entraîné pour la classification du texte multi-étiquettes.
À l'origine du projet, vous verrez:
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── basic_config.py #a configuration file for storing model parameters
| └── dataset
| └── io
| | └── dataset.py
| | └── data_transformer.py
| └── model
| | └── nn
| | └── pretrain
| └── output #save the ouput of model
| └── preprocessing #text preprocessing
| └── train #used for training a model
| | └── trainer.py
| | └── ...
| └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py
Vous avez besoin de télécharger le modèle Bert pré-entraîné et le modèle XLNET.
Bert: Bert-base
XLNET: XLNET-base-basé
Téléchargez le modèle Bert pré-entraîné à partir de S3
Téléchargez le fichier Bert Config à partir de S3
Téléchargez le fichier Bert Vocab à partir de S3
Rebaptiser:
bert-base-uncased-pytorch_model.bin à pytorch_model.binbert-base-uncased-config.json à config.jsonbert-base-uncased-vocab.txt à bert_vocab.txt Placez le fichier model , config et vocab dans le répertoire /pybert/pretrain/bert/base-uncased .
pip install pytorch-transformers à partir de github.
Téléchargez Kaggle Données et placez dans pybert/dataset .
io.task_data.py pour adapter vos données. Modifier les informations de configuration dans pybert/configs/basic_config.py (le chemin des données, ...).
Exécutez python run_bert.py --do_data pour prétraiter les données.
Exécutez python run_bert.py --do_train --save_best --do_lower_case to fine tuning bert modèle.
Run run_bert.py --do_test --do_lower_case pour prédire de nouvelles données.
[training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922
- - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 
