Transformers_for_Text_Classification

Transformers_For_text_classification

Classification de texte basée sur les transformateurs

Refactorisé sur la base du code V2.2.2 des derniers Transformers produits par HuggingFace. Afin de s'assurer que le code peut être reproduit directement à l'avenir sans problèmes de compatibilité, les transformateurs sont placés localement pour l'appel.

Points forts

• Modèle de transformateur de support et divers extracteurs de fonctionnalités
• Support Code de prédiction des tests de test
• Simplifiez le code des transformateurs d'origine pour le rendre plus adapté aux tâches de classification de texte
• Optimiser la sortie de borne de journalisation pour rendre le contenu de sortie plus raisonnable

Soutien

Model_Type:

• bert
• bert_cnn
• bert_lstm
• bert_gru
• xlnet
• xlnet_cnn
• xlnet_lstm
• xlnet_gru
• Albert

Contenu

• Ensemble de données: ensemble de données de stockage
• Pretrained_Models: Modèles pré-entraînés de magasin
• Transformers: dossier Transformers
• Résultats: Résultats de la formation en magasin

Usage

1. Utilisez différents modèles

Modifiez le paramètre model_type dans le fichier shell pour spécifier le modèle

Par exemple, si Bert est suivi par la couche de connexion complète FC, model_type=bert est directement définie; Bert est suivi par CNN Convolutional Layer, model_type=bert_cnn est directement défini.

model_type pris en charge par chaque modèle pré-entraîné de ce projet est répertorié dans Support de cette lecture.

Enfin, exécutez simplement le fichier shell directement dans le terminal, comme:

 bash run_classifier.sh

Remarque : Dans les trois modèles de langue pré-formés de Chinois Roberta, Ernie et Bert_WWM, tous les Bert Model_type sont utilisés pour le chargement.

2. Utilisez des ensembles de données personnalisés

1. Stockez les dossiers de données personnalisés dans dataset , tels que TestData .
2. Dans utils.py dans le répertoire racine, écrivez votre propre classe en fonction de class THUNewsProcessor , telle que class TestDataProcessor , et ajoutez le contenu correspondant aux trois dicts tasks_num_labels , processors et output_modes .
3. Enfin, modifiez Task_name au nom de votre tâche dans le fichier shell que vous devez exécuter, comme TestData .

Environnement

• Un 2080ti, 12 Go de RAM

• Python: 3.6.5

• Pytorch: 1.3.1

• TensorFlow: 1.14.0 (pour prendre en charge Tensorboard uniquement, aucune autre fonction)

• Numpy: 1.14.6

Performance

Ensemble de données: Thunews / 5_5000

époque: 1

Train_steps: 5000

modèle	Dev Set Best F1 et ACC	Remarque
bert_base	0.9308869881728941, 0,9324	Bert Connection FC Layer, Batch_Size 8, Learning_Rate 2E-5
bert_base + cnn	0,9136314735833212, 0,9156	Bert se connecte à la couche CNN, Batch_Size 8, Learning_Rate 2E-5
bert_base + lstm	0,9369254464106703, 0,9372	Bert se connecte à la couche LSTM, Batch_Size 8, Learning_Rate 2E-5
bert_base + Gru	0,9379539112313108, 0,938	Bert connecté à la couche GRU, Batch_Size 8, Learning_rate 2E-5
Roberta_Large		Couche Roberta Connection FC, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid	0,9530066512880131, 0,954	Couche FC de connexion XLNET, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid + lstm	0,9269927348553552, 0,9304	XLNET se connecte à LSTM Layer, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid + gru	0.9494631023945569, 0,9508	Xlnet connecté à la couche GRU, Batch_Size 2, Learning_rate 2E-5
albert_xlarge_183k

Télécharger les modèles chinois pré-formés

NPL_PEMDC