Bert Multi Label Text Classification
1.0.0
Dieses Repo enthält eine Pytorch-Implementierung des vorbereiteten Bert- und XLNET-Modells für die Klassifizierung von Multi-Label-Text.
Am Projekt werden Sie sehen:
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── basic_config.py #a configuration file for storing model parameters
| └── dataset
| └── io
| | └── dataset.py
| | └── data_transformer.py
| └── model
| | └── nn
| | └── pretrain
| └── output #save the ouput of model
| └── preprocessing #text preprocessing
| └── train #used for training a model
| | └── trainer.py
| | └── ...
| └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py
Sie müssen ein vorgezogenes Bert -Modell und XLNET -Modell herunterladen.
Bert: Bert-Base-Unbekannte
XLNET: XLNET-BASE-CAUBED
Laden Sie das Bert -vorgeläutete Modell von S3 herunter
Laden Sie die Bert -Konfigurationsdatei von S3 herunter
Laden Sie die Bert Vocab -Datei von S3 herunter
Umbenennen:
bert-base-uncased-pytorch_model.bin an pytorch_model.binbert-base-uncased-config.json an config.jsonbert-base-uncased-vocab.txt TO bert_vocab.txt Platzieren Sie model , config und vocab Datei in das Verzeichnis /pybert/pretrain/bert/base-uncased .
pip install pytorch-transformers von GitHub.
Laden Sie Kaggle -Daten herunter und platzieren Sie sie in pybert/dataset .
io.task_data.py ändern, um Ihre Daten anzupassen. Ändern Sie Konfigurationsinformationen in pybert/configs/basic_config.py (dem Datenpfad, ...).
Führen Sie python run_bert.py --do_data auf die Vorverarbeitungsdaten aus.
Führen Sie python run_bert.py --do_train --save_best --do_lower_case aus, um das Bert -Modell zu feinen.
Run run_bert.py --do_test --do_lower_case um neue Daten vorherzusagen.
[training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922
- - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 
