Abstractive Summarization With Transfer Learning

Абстрактная суммирование с использованием BERT в качестве энкодера и декодера трансформатора

Я использовал библиотеку генерации текста под названием Texar, это прекрасная библиотека с большим количеством абстракций, я бы сказал, что это Scikit Learn для задач генерации текста.

Основная идея этой архитектуры состоит в том, чтобы использовать Transfer Learning от предварительно подготовленной модели в масках, я заменил часть энкодера Bert Encoder, а DeoCder обучается от царапины.

Одним из преимуществ использования трансфомерных сетей является обучение, намного быстрее, чем модели на основе LSTM, поскольку мы устраняем последовательное поведение в моделях трансформатора.

Модели на основе трансформаторов генерируют более граматически правильные и когерентные предложения.

Запустить модель

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
unzip uncased_l-12_h-768_a-12.zip
Разместите истории и сводные файлы в папку данных со следующими именами.
-train_story.txt
-train_summ.txt
-Валь_story.txt
-Валь_Summ.txt
Каждая история и резюме должны быть в одной строке (см. Пример приведенного текста.)
Шаг 1:
Запустите предварительную обработку
Python preprocess.py
Это создает два файла TFRECORD в папке данных.
Шаг 2:
Python main.py
Конфигурации для модели могут быть изменения из файла config.py
Шаг 3:
Вывод
Запустите команду python anuction.py
Этот код запускает сервер колбы
Используйте почтальон, чтобы отправить запрос сообщения @http: // your_ip_address: 1118/результаты
с двумя параметрами формы, резюме