Abstractive Summarization With Transfer Learning

Abstraktive Zusammenfassung mit Bert als Encoder- und Transformator -Decoder

Ich habe eine Bibliothek für Textgeneration namens Texar verwendet, es ist eine schöne Bibliothek mit vielen Abstraktionen. Ich würde sagen, dass es sich um scikit lern für Textgenerierungsprobleme.

Die Hauptidee hinter dieser Architektur besteht darin, das Transferlernen von vorbereiteten Bert, ein maskiertes Sprachmodell, zu verwenden. Ich habe den Encoder -Teil durch Bert -Encoder ersetzt und der Desocder wird vom Grund aus trainiert.

Einer der Vorteile der Verwendung von Transfomer -Netzwerken ist das Training ist viel schneller als LSTM -basierte Modelle, da wir das sequentielle Verhalten in Transformatormodellen elimanieren.

Transformator -basierte Modelle erzeugen gramatisch korrektere und kohärente Sätze.

Das Modell ausführen

 wGet https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
UNZIP UNCUSD_L-12_H-768_A-12.zip
Platzieren Sie die Story- und Zusammenfassungsdateien unter dem Datenordner mit den folgenden Namen.
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
Jede Geschichte und Zusammenfassung muss in einer einzigen Zeile sein (siehe Beispieltext angegeben.)
STEP1:
Vorverarbeitung laufen
Python Preprocess.Py
Dadurch werden zwei TFRECORD -Dateien unter dem Datenordner erstellt.
Schritt 2:
Python main.py
Konfigurationen für das Modell können Änderungen gegenüber der Konfigurationsdatei sein
Schritt 3:
Schlussfolgerung
Führen Sie den Befehl Python Inferenz.py aus
Dieser Code führt einen Flask -Server aus
Verwenden Sie Postman, um die Postanforderung zu senden @http: // your_ip_address: 1118/Ergebnisse
Mit zwei Formparametern, Zusammenfassung