Abstractive Summarization With Transfer Learning

使用BERT作為編碼器和變壓器解碼器的抽象性摘要

我使用了一個名為Texar的文本庫，它是一個帶有很多抽象的美麗庫，我想說的是Scikit對於文本生成問題學習。

該體系結構背後的主要思想是使用驗證的bert膠面膠模型的轉移學習，我用Bert Engoder替換了編碼器部分，並且Deocder是從刮擦中訓練的。

使用Transfomer網絡的優點之一是訓練比基於LSTM的模型快得多，因為我們在變壓器模型中消除了順序行為。

基於變壓器的模型會產生更徹底的正確和連貫的句子。

運行模型

WGET https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h--768_a-112.zip 
UNZIP UNCASED_L-12_H-768_A-122.ZIP
將故事和摘要文件放在數據文件夾下，並附上以下名稱。
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
每個故事和摘要都必須單行（請參閱給出的示例文本。）
步驟1：
運行預處理
Python Preprocess.py
這將在數​​據文件夾下創建兩個Tfrecord文件。
步驟2：
python main.py
模型的配置可以是從config.py文件更改
步驟3：
推理
運行命令python temprence.py
此代碼運行燒瓶服務器
使用Postman發送郵政請求@http：// your_ip_address：1118/結果
帶有兩個形式的參數故事，摘要