Bert Multi Label Text Classification

تصنيف نص بيرت متعدد العلامات بواسطة Pytorch

يحتوي هذا الريبو على تطبيق Pytorch لنموذج Bert و XLNET المسبق لتصنيف النص متعدد العطلة.

هيكل الرمز

في جذر المشروع ، سترى:

 ├── pybert
|  └── callback
|  |  └── lrscheduler.py　　
|  |  └── trainingmonitor.py　
|  |  └── ...
|  └── config
|  |  └── basic_config.py #a configuration file for storing model parameters
|  └── dataset　　　
|  └── io　　　　
|  |  └── dataset.py　　
|  |  └── data_transformer.py　　
|  └── model
|  |  └── nn　
|  |  └── pretrain　
|  └── output #save the ouput of model
|  └── preprocessing #text preprocessing 
|  └── train #used for training a model
|  |  └── trainer.py 
|  |  └── ...
|  └── common # a set of utility functions
├── run_bert.py
├── run_xlnet.py

التبعيات

• CSV
• TQDM
• numpy
• مخلل
• Scikit-Learn
• Pytorch 1.1+
• Matplotlib
• الباندا
• المحولات = 2.5.1

كيفية استخدام الرمز

تحتاج إلى تنزيل نموذج BERT PRETRAINE ونموذج XLNET.

بيرت: Bert-Base-uncared

XLNET: XLNET-base cazed

1. قم بتنزيل نموذج Bert PretRained من S3

2. قم بتنزيل ملف Config Bert من S3

3. قم بتنزيل ملف Bert Vocab من S3

4. إعادة تسمية:

   • bert-base-uncased-pytorch_model.bin إلى pytorch_model.bin
   • bert-base-uncased-config.json to config.json
   • bert-base-uncased-vocab.txt to bert_vocab.txt

5. ضع model ، ملف config vocab في الدليل /pybert/pretrain/bert/base-uncased .

6. pip install pytorch-transformers من GitHub.

7. قم بتنزيل بيانات Kaggle ومكانها في pybert/dataset .

   • يمكنك تعديل io.task_data.py لتكييف بياناتك.

8. تعديل معلومات التكوين في pybert/configs/basic_config.py (مسار البيانات ، ...).

9. قم بتشغيل python run_bert.py --do_data إلى البيانات المسبقة.

10. قم بتشغيل python run_bert.py --do_train --save_best --do_lower_case لضبط نموذج Bert.

11. RUN run_bert.py --do_test --do_lower_case للتنبؤ بالبيانات الجديدة.

تمرين

 [training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
training result:
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO  
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922

رقم التدريب

نتيجة

 - - - - train report every label - - - - -
Label : toxic - auc : 0.9903
Label : severe_toxic - auc : 0.9913
Label : obscene - auc : 0.9951
Label : threat - auc : 0.9898
Label : insult - auc : 0.9911
Label : identity_hate - auc : 0.9910
- - - - valid report every label - - - - -
Label : toxic - auc : 0.9892
Label : severe_toxic - auc : 0.9911
Label : obscene - auc : 0.9945
Label : threat - auc : 0.9955
Label : insult - auc : 0.9903
Label : identity_hate - auc : 0.9927 

نصائح

• عند تحويل نقطة تفتيش TensorFlow إلى Pytorch ، من المتوقع أن تختار "bert_model.ckpt" ، بدلاً من "bert_model.ckpt.index" ، كملف الإدخال. خلاف ذلك ، سترى أن النموذج لا يمكن أن يتعلم شيئًا ويعطي نفس المخرجات العشوائية تقريبًا لأي مدخلات. هذا يعني ، في الواقع ، أنك لم تقم بتحميل CKPT الحقيقي لنموذجك
• عند استخدام وحدات معالجة الرسومات المتعددة ، لا يتم دعم الحسابات غير المرتبطة ، مثل الدقة و F1_Score ،
• كما أوصت به Jocob في ورقته https://arxiv.org/pdf/1810.04805.pdf ، في مهام الصياغة الدقيقة ، من المتوقع أن يتم تعيين hyperparameters على النحو التالي: batch_size : 16 أو 32 ، التعلم :
• يحتوي النموذج المسبق على حدود لعقوبة المدخلات التي يجب أن لا يكون طولها أكبر من 512 ، وهو موضع الأقصى الذي يدمجه. تتدفق البيانات إلى النموذج مثل: raw_data -> WordPieces -> Model. لاحظ أن طول قطع الكلمات أكبر عمومًا من طول RAW_DATA ، وبالتالي فإن طول أقصى قدر من RAW_DATA هو في ~ 128 - 256
• عند الاختبار ، وجدنا أن صياغة جميع الطبقات يمكن أن تحصل على نتائج أفضل بكثير من نتائج صياغة الطبقة الأكثر رقة فقط. هذا الأخير هو في الواقع طريقة قائمة على الميزات