Transformers_for_Text_Classification

transformers_for_text_classification

تصنيف النص على أساس المحولات

تم إعادة تمثيلها بناءً على أحدث كود المحولات V2.2.2 التي تنتجها HuggingFace. لضمان استنساخ الكود مباشرة في المستقبل دون مشاكل التوافق ، يتم وضع المحولات محليًا للاتصال.

أبرز

• نموذج دعم محول ومستخرجات الميزات المختلفة
• دعم رمز التنبؤ بمجموعة اختبار
• تبسيط رمز المحولات الأصلي لجعله أكثر ملاءمة لمهام تصنيف النص
• تحسين إخراج محطة التسجيل لجعل محتوى الإخراج أكثر منطقية

يدعم

model_type:

• بيرت
• BERT_CNN
• BERT_LSTM
• BERT_GRU
• xlnet
• xlnet_cnn
• XLNET_LSTM
• xlnet_gru
• ألبرت

محتوى

• مجموعة البيانات: مجموعة البيانات
• PretRained_Models: تخزين نماذج مسبقة
• المحولات: مجلد المحولات
• النتائج: نتائج تدريب المتجر

الاستخدام

1. استخدم نماذج مختلفة

قم بتعديل معلمة model_type في ملف shell لتحديد النموذج

على سبيل المثال ، إذا تم اتباع BERT بطبقة اتصال FC FULL ، يتم تعيين model_type=bert مباشرة ؛ يتبع BERT طبقة CNN CNORSTIONAL ، model_type=bert_cnn تم تعيينه مباشرة.

يتم سرد model_type بدعم من كل نماذج مسبقة في هذا المشروع في Support هذا ReadMe.

أخيرًا ، فقط قم بتشغيل ملف shell مباشرة في المحطة ، مثل:

 bash run_classifier.sh

ملاحظة : في نماذج اللغة الثلاثة المدربة مسبقًا من روبرتا الصينية وإرني و Bert_WWM ، يتم استخدام جميع Bert Model_type للتحميل.

2. استخدم مجموعات البيانات المخصصة

1. تخزين مجلدات مجموعة البيانات المخصصة في مجلد dataset ، مثل TestData .
2. في utils.py في دليل الجذر ، اكتب فئتك الخاصة وفقًا class THUNewsProcessor ، مثل اسم class TestDataProcessor ، وأضف المحتوى المقابل إلى DICTS tasks_num_labels ، processors ، و output_modes .
3. أخيرًا ، تعديل Task_Name إلى اسم مهمتك في ملف shell الذي تحتاجه إلى تشغيله ، مثل TestData .

بيئة

• واحد 2080TI ، ذاكرة وصول عشوائي 12 جيجابايت

• بيثون: 3.6.5

• Pytorch: 1.3.1

• TensorFlow: 1.14.0 (لدعم Tensorboard فقط ، لا توجد وظيفة أخرى)

• Numpy: 1.14.6

أداء

مجموعة البيانات: Thunews/5_5000

العصر: 1

Train_steps: 5000

نموذج	مجموعة DEV أفضل F1 و ACC	ملاحظة
Bert_Base	0.9308869881728941 ، 0.9324	Bert Connection FC Layer ، Batch_size 8 ، Learning_Rate 2E-5
BERT_BASE+CNN	0.9136314735833212 ، 0.9156	يتصل Bert بطبقة CNN ، Batch_size 8 ، Learning_Rate 2E-5
BERT_BASE+LSTM	0.9369254464106703 ، 0.9372	يتصل Bert بطبقة LSTM ، Batch_size 8 ، Learning_Rate 2E-5
BERT_BASE+GRU	0.9379539112313108 ، 0.938	Bert متصل بطبقة GRU ، Batch_size 8 ، Learning_Rate 2E-5
Roberta_large		Roberta Connection FC Layer ، Batch_size 2 ، Learning_Rate 2E-5
xlnet_mid	0.9530066512880131 ، 0.954	XLNET Connection FC Layer ، Batch_size 2 ، Learning_rate 2E-5
XLNET_MID+LSTM	0.9269927348553552 ، 0.9304	يتصل XLNET بطبقة LSTM ، Batch_size 2 ، Learning_Rate 2E-5
XLNET_MID+GRU	0.9494631023945569 ، 0.9508	xlnet متصل بطبقة GRU ، Batch_size 2 ، Learning_Rate 2E-5
Albert_xlarge_183k

قم بتنزيل النماذج الصينية التي تم تدريبها مسبقًا

npl_pemdc