Bert Multi Label Text Classification

Clasificación de texto de múltiples etiquetas de Bert por Pytorch

Este repositorio contiene una implementación de Pytorch del modelo Bert y XLNet previamente a la clasificación de texto de múltiples etiquetas.

Estructura del código

En la raíz del proyecto, verá:

 ├── pybert
|  └── callback
|  |  └── lrscheduler.py　　
|  |  └── trainingmonitor.py　
|  |  └── ...
|  └── config
|  |  └── basic_config.py #a configuration file for storing model parameters
|  └── dataset　　　
|  └── io　　　　
|  |  └── dataset.py　　
|  |  └── data_transformer.py　　
|  └── model
|  |  └── nn　
|  |  └── pretrain　
|  └── output #save the ouput of model
|  └── preprocessing #text preprocessing 
|  └── train #used for training a model
|  |  └── trainer.py 
|  |  └── ...
|  └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py

Dependencias

• CSV
• TQDM
• numpy
• conservar en vinagre
• lear
• Pytorch 1.1+
• mate
• pandas
• Transformers = 2.5.1

Cómo usar el código

Necesita descargar el modelo BERT pretranado y el modelo XLNet.

Bert: Bert-Base-Inscuye

XLNET: XLNet-Base-Case

1. Descargue el modelo Bert Pretraled de S3

2. Descargue el archivo de configuración Bert de S3

3. Descargue el archivo Bert Vocab de S3

4. Rebautizar:

   • bert-base-uncased-pytorch_model.bin a pytorch_model.bin
   • bert-base-uncased-config.json a config.json
   • bert-base-uncased-vocab.txt a bert_vocab.txt

5. Coloque model , config y el archivo vocab en el directorio /pybert/pretrain/bert/base-uncased .

6. pip install pytorch-transformers de GitHub.

7. Descargue Kaggle Data and Place en pybert/dataset .

   • Puede modificar el io.task_data.py para adaptar sus datos.

8. Modifique la información de configuración en pybert/configs/basic_config.py (la ruta de los datos, ...).

9. Ejecute python run_bert.py --do_data para preprocesar datos.

10. Ejecute python run_bert.py --do_train --save_best --do_lower_case para ajustar el modelo Bert.

11. run_bert.py --do_test --do_lower_case para predecir nuevos datos.

capacitación

 [training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO  
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922

figura de entrenamiento

resultado

 - - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 

Consejos

• Al convertir el punto de control TensorFlow en Pytorch, se espera que elija el "bert_model.ckpt", en lugar de "bert_model.ckpt.index", como el archivo de entrada. De lo contrario, verá que el modelo no puede aprender nada y dar casi las mismas salidas aleatorias para cualquier entrada. Esto significa, de hecho, no ha cargado el verdadero CKPT para su modelo
• Cuando se utilizan GPU múltiples, los cálculos no tensorales, como la precisión y F1_Score, no son compatibles con DataParAllel
• Según lo recomendado por Jocob en su artículo https://arxiv.org/pdf/1810.04805.pdf, en tareas de ajuste fino, se espera que los hiperparametros se establezcan como siguientes: Batch_size : 16 o 32, Learning_Rate : 5E-5 o 2E-5 o 3E-5, num_train_epoch : 3 o 4 o 4
• El modelo previo alado tiene un límite para la oración de entrada que su longitud debería no es mayor que 512, la posición máxima que incrusta la tenue. Los datos fluyen al modelo como: RAW_DATA -> WordPieces -> Modelo. Tenga en cuenta que la longitud de las piezas de palabras es generalmente más grande que la de RAW_DATA, por lo que una longitud máxima segura de RAW_DATA está en ~ 128 - 256
• Al probar, encontramos que el ajuste de todas las capas podría obtener resultados mucho mejores que los de solo ajustar la última capa de clase. Este último es en realidad una forma basada en características