Abstractive Summarization With Transfer Learning

Resumen abstracto utilizando Bert como codificador y decodificador de transformadores

He usado una biblioteca de generación de texto llamada Texar, es una hermosa biblioteca con muchas abstracciones, diría que es escidiós.

La idea principal detrás de esta arquitectura es utilizar el aprendizaje de transferencia de Bert en pre -apartado Un modelo de lenguaje enmascarado, he reemplazado la parte del codificador con Bert Coder y el Deocder está entrenado desde el cero.

Una de las ventajas de usar redes de transfomeros es que el entrenamiento es mucho más rápido que los modelos basados ​​en LSTM, ya que eliminamos el comportamiento secuencial en los modelos de transformadores.

Los modelos basados ​​en transformadores generan oraciones gramáticamente correctas y coherentes.

Para ejecutar el modelo

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
Unzip uncased_l-12_h-768_a-12.zip
Coloque la historia y los archivos de resumen en la carpeta de datos con los siguientes nombres.
-train_story.txt
-train_summ.txt
-Eval_story.txt
-Eval_Summ.txt
Cada historia y resumen deben estar en una sola línea (ver texto de muestra dado).
Paso 1:
Ejecutar preprocesamiento
Python Preprocess.py
Esto crea dos archivos TFRecord en la carpeta de datos.
Paso 2:
python main.py
Las configuraciones para el modelo pueden ser cambios desde el archivo config.py
Paso 3:
Inferencia
Ejecute el comando Python Inference.py
Este código ejecuta un servidor frasco
Use Postman para enviar la solicitud de publicación @http: // your_ip_address: 1118/Resultados
con dos parámetros de formulario, resumen