Abstractive Summarization With Transfer Learning

Résumé abstractif utilisant Bert comme codeur et décodeur de transformateur

J'ai utilisé une bibliothèque de génération de texte appelée Texar, c'est une belle bibliothèque avec beaucoup d'abstractions, je dirais que c'est Scikit Learn pour des problèmes de génération de texte.

L'idée principale derrière cette architecture est d'utiliser l'apprentissage du transfert de Bert un modèle de langue masquée, j'ai remplacé la partie de l'encodeur par Bert Encoder et le déocder est formé à partir de zéro.

L'un des avantages de l'utilisation des réseaux de transfomer est la formation est beaucoup plus rapide que les modèles basés sur LSTM car nous éliminons le comportement séquentiel dans les modèles de transformateurs.

Les modèles basés sur le transformateur génèrent des phrases plus grammatives et cohérentes.

Pour exécuter le modèle

 wget https://storage.googleapis.com/bert_models/2018_10_18/oncasled_l-12_h-768_a-12.zip 
Unzip Unased_L-12_H-768_A-12.zip
Placez l'histoire et les fichiers récapitulatifs dans le dossier de données avec les noms suivants.
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
Chaque histoire et résumé doit être en une seule ligne (voir exemple de texte donné.)
Étape 1:
Exécuter le prétraitement
Python Preprocess.py
Cela crée deux fichiers tfrecord dans le dossier de données.
Étape 2:
python main.py
Les configurations du modèle peuvent être des modifications du fichier config.py
Étape 3:
Inférence
Exécutez la commande python inférence.py
Ce code exécute un serveur FLASK
Utilisez Postman pour envoyer la demande de message @http: // votre_ip_address: 1118 / Résultats
avec deux paramètres de forme, résumé