Abstractive Summarization With Transfer Learning

エンコーダーおよびトランスデコーダーとしてBERTを使用した抽象的な要約

私はTexarと呼ばれるテキスト生成ライブラリを使用しました。それは多くの抽象化を備えた美しいライブラリです。テキスト生成の問題についてScikit学習であると思います。

このアーキテクチャの背後にある主なアイデアは、前提条件のBert A Masked Languageモデルからの転送学習を使用することです。エンコーダーパーツをBertエンコーダーに置き換え、Deocderはゼロからトレーニングされています。

トランスフォマーネットワークを使用することの利点の1つは、トレーニングがトランスモデルで連続的な動作を排除するため、LSTMベースのモデルよりもはるかに高速であることです。

トランスベースのモデルは、より文法的に正しい文化文を生成します。

モデルを実行します

wget https://storage.googleapis.com/bert_models/2018_10/uncased_l-12_h-768_a-12.zip 
Unzip ncased_l-12_h-768_a-12.zip
以下の名前のデータフォルダーの下にストーリーと概要ファイルを配置します。
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
各ストーリーと要約は、単一の行にある必要があります（与えられたサンプルテキストを参照してください。）
ステップ1：
プリプロセシングを実行します
python preprocess.py
これにより、データフォルダーの下に2つのTrecordファイルが作成されます。
ステップ2：
python main.py
モデルの構成はconfig.pyファイルから変更することができます
ステップ3：
推論
コマンドPython Inference.pyを実行します
このコードはフラスコサーバーを実行します
郵便配達員を使用して、@http：// your_ip_address：1118/resultsをpostリクエストを送信します
2つのフォームパラメーターストーリー、要約