Transformers_for_Text_Classification

Transformers_for_text_classification

Текстовая классификация на основе трансформаторов

Рефакторирован на основе последних трансформаторов v2.2.2, созданный HuggingFace. Чтобы гарантировать, что код может быть воспроизведен непосредственно в будущем без проблем совместимости, трансформаторы размещаются локально для вызова.

Основные моменты

• Модель трансформатора поддержки и различные экстракторы функций
• Код прогнозирования тестов поддержки
• Упростить исходный код трансформаторов, чтобы сделать его более подходящим для задач классификации текста
• Оптимизировать вывод терминала регистрации, чтобы сделать выходной контент более разумным

Поддерживать

model_type:

• Берт
• bert_cnn
• bert_lstm
• bert_gru
• xlnet
• xlnet_cnn
• xlnet_lstm
• xlnet_gru
• Альберт

Содержание

• Набор данных: хранить набор данных
• Предварительно сформированные_модельс: хранить предварительные модели
• Трансформаторы: папка Трансформеров
• Результаты: результаты обучения магазина

Использование

1. Используйте разные модели

Измените параметр model_type в файле оболочки, чтобы указать модель

Например, если BERT сопровождается полным уровнем подключения FC, model_type=bert устанавливается напрямую; За BRET следуют сверточный слой CNN, model_type=bert_cnn устанавливается напрямую.

model_type поддерживаемый каждыми предварительно предварительно проведенными моделями в этом проекте, перечисляется в Support этого чтения.

Наконец, просто запустите файл оболочки непосредственно в терминале, например:

 bash run_classifier.sh

Примечание . В трех предварительно обученных языковых моделях китайской Роберты, Эрни и BERT_WWM все BERT MODEL_TYPE используются для загрузки.

2. Используйте пользовательские наборы данных

1. Храните пользовательские папки наборов данных в папке dataset , таких как TestData .
2. В utils.py в корневом каталоге напишите свой собственный класс в соответствии с class THUNewsProcessor , таким как имени class TestDataProcessor , и добавьте соответствующий контент в три DICTS tasks_num_labels , processors и output_modes .
3. Наконец, измените task_name на имя задачи в файле оболочки, который вам нужно запустить, например, TestData .

Среда

• Один 2080ti, 12 ГБ ОЗУ

• Python: 3.6.5

• Pytorch: 1.3.1

• Tensorflow: 1.14.0 (для поддержки только Tensorboard, никакой другой функции)

• Numpy: 1.14.6

Производительность

Набор данных: Thunews/5_5000

эпоха: 1

Train_steps: 5000

модель	Dev Set Best F1 и ACC	Примечание
bert_base	0,9308869881728941, 0,9324	Bert Connection Connection FC Layer, batch_size 8, Learning_Rate 2E-5
bert_base+cnn	0,91363147358333212, 0,9156	Bert подключается к слою CNN, batch_size 8, Learning_Rate 2E-5
bert_base+lstm	0,9369254464106703, 0,9372	Bert подключается к LSTM Layer, Batch_size 8, Learning_Rate 2E-5
bert_base+gru	0,9379539112313108, 0,938	Берт подключен к слою GRU, batch_size 8, Learning_Rate 2E-5
roberta_large		Roberta Connection Connection Fc Layer, batch_size 2, Learning_Rate 2E-5
xlnet_mid	0,953006512880131, 0,954	Xlnet Connection Connection Layer, batch_size 2, Learning_Rate 2E-5
xlnet_mid+lstm	0,9269927348553552, 0,9304	Xlnet подключается к слою LSTM, Batch_size 2, Learning_Rate 2E-5
xlnet_mid+gru	0,9494631023945569, 0,9508	Xlnet подключен к слою GRU, batch_size 2, Learning_Rate 2E-5
albert_xlarge_183k

Скачать китайские предварительно обученные модели

Npl_pemdc