Transformers_for_Text_Classification

Transformers_for_text_classification

Clasificación de texto basada en transformadores

Refactorizado basado en el último código Transformers v2.2.2 producido por Huggingface. Para garantizar que el código se pueda reproducir directamente en el futuro sin problemas de compatibilidad, los transformadores se colocan localmente para llamar.

Reflejos

• Modelo de transformador de soporte y varios extractores de características
• Código de predicción del conjunto de pruebas de soporte
• Simplifique el código de transformadores original para que sea más adecuado para las tareas de clasificación de texto
• Optimizar la salida del terminal de registro para que el contenido de salida sea más razonable

Apoyo

model_type:

• Bert
• bert_cnn
• bert_lstm
• bert_gru
• XLNET
• xlnet_cnn
• xlnet_lstm
• xlnet_gru
• Albert

Contenido

• conjunto de datos: conjunto de datos de almacenamiento
• Pretrened_models: almacenar modelos previos
• Transformers: carpeta Transformers
• RESULTADOS: Servicio de entrenamiento Resultados

Uso

1. Use diferentes modelos

Modifique el parámetro model_type en el archivo de shell para especificar el modelo

Por ejemplo, si Bert es seguido por la capa de conexión completa FC, model_type=bert está directamente configurado; Bert es seguido por CNN Capa convolucional, model_type=bert_cnn está directamente configurado.

model_type compatible con cada modelos previos a la aparición en este proyecto se enumera en Support de este ReadMe.

Finalmente, simplemente ejecute el archivo de shell directamente en el terminal, como:

 bash run_classifier.sh

Nota : En los tres modelos de idiomas previamente capacitados de China Roberta, Ernie y Bert_WWM, todos los Bert Model_Type se utilizan para la carga.

2. Use conjuntos de datos personalizados

1. Almacene las carpetas de conjunto de datos personalizadas en dataset , como TestData .
2. En utils.py en el directorio raíz, escriba su propia clase de acuerdo con class THUNewsProcessor , como el nombre de class TestDataProcessor , y agregue el contenido correspondiente a las tres tasks_num_labels , processors y output_modes .
3. Finalmente, modifique la tarea_name al nombre de su tarea en el archivo de shell que necesita ejecutar, como TestData .

Ambiente

• Un 2080ti, 12 GB de ram

• Python: 3.6.5

• Pytorch: 1.3.1

• TensorFlow: 1.14.0 (para admitir solo TensorBoard, ninguna otra función)

• Numpy: 1.14.6

Actuación

Conjunto de datos: Thunews/5_5000

época: 1

Train_steps: 5000

modelo	Dev Set Best F1 y ACC	Observación
bert_base	0.9308869881728941, 0.9324	Bert Connection FC Layer, Batch_Size 8, Learning_Rate 2E-5
bert_base+CNN	0.9136314735833212, 0.9156	Bert se conecta a CNN Layer, Batch_Size 8, Learning_Rate 2E-5
bert_base+lstm	0.93692544644106703, 0.9372	Bert se conecta a LSTM Layer, Batch_Size 8, Learning_Rate 2E-5
bert_base+gru	0.9379539112313108, 0.938	Bert conectado a Gru Layer, Batch_Size 8, Learning_Rate 2E-5
ROBERTA_LARGE		Roberta Connection FC Layer, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid	0.9530066512880131, 0.954	Conexión XLNet FC Layer, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid+LSTM	0.9269927348553552, 0.9304	XLNet se conecta a LSTM Layer, Batch_Size 2, Learning_Rate 2E-5
xlnet_mid+gru	0.9494631023945569, 0.9508	XLNet conectado a Gru Layer, Batch_Size 2, Learning_Rate 2E-5
albert_xlarge_183k

Descargar modelos pre-entrenados chinos

Npl_pemdc