TensorFlow Summarization下載 - TensorFlow Summarization源代碼下載

下載

TensorFlow SEQ2SEQ文本摘要

該分支在Tensorflow R1.1中使用新的TF.Contrib.Seq2Seq API。對於R1.0用戶，請查看分支TF1.0

這是使用雙向GRU編碼器和GRU解碼器的序列到序列模型的實現。該項目旨在幫助人們立即開始進行抽象短文摘要。希望它也可以在機器翻譯任務上使用。

請檢查Harvardnlp/Send-Summary。

下載

如果您想訓練模型並具有NVIDIA GPU（例如GTX 1080，GTX Titan等），請設置CUDA環境並安裝TensorFlow-GPU。

 > pip3 install -U tensorflow-gpu==1.1

您可以檢查GPU是否工作

 > python3
>>> import tensorflow
>>>

並確保沒有錯誤輸出。

如果您沒有GPU，則仍然可以使用驗證的型號並使用CPU生成摘要。

 > pip3 install -U tensorflow==1.1

文件應像這樣組織。

請在Harvardnlp/send-summary中找到這些文件，並將其重命名為

 duc2003/input.txt -> test.duc2003.txt
duc2004/input.txt -> test.duc2004.txt
Giga/input.txt -> test.giga.txt

> python3 script/train.py可以重現下面所示的實驗。

通過這樣做，它將首先訓練200k批次。然後在[giga, duc2003, duc2004]上分別在[1, 10]中發電，每20k批次。它將以300k批次終止。此外，該模型每20k批次都會保存。

> python3 script/test.py將自動使用最新的模型進行生成。

要進行自定義測試，請將輸入數據作為

 data/test.your_test_name.txt

更改script/test.py行13-14

 datasets = ["giga", "duc2003", "duc2004"]
geneos = [True, False, False]

到

 datasets = ["your_test_name"]
geneos = [True]

對於高級用戶， python3 src/summarization.py -h可以打印幫助。請檢查代碼以獲取詳細信息。

在TensorFlow R0.11及以前，建議使用鏟斗。 R1.0提供了動態的RNN SEQ2SEQ框架，該框架比棘手的鏟斗機制要容易得多。

我們使用動態RNN生成計算圖。我們的實施中只有一個計算圖。但是，我們仍然將數據集分成幾個存儲桶中，並使用同一存儲桶中的數據來創建批處理。通過這樣做，我們可以添加更少的填充物，從而提高效率。

注意機制遵循Bahdanau等。 al。

我們遵循tf.contrib.seq2seq中的實現。我們在註意力中完善了軟磁性功能，以使槳板始終獲得0。

為了簡單性和靈活性，我們在將網絡部分留在Tensorflow中時，在Python中實現了Beam搜索算法。在測試中，我們將batch_size視為beam_size。 TensorFlow圖將僅生成1個字，那麼一些Python代碼將根據結果創建新批次。通過迭代地這樣做，生成了光束搜索結果。

在bigru_model.py中檢查step_beam(...)以獲取詳細信息。

我們訓練該型號的300K批次，批次尺寸為80。我們將所有摘要夾夾為75個字節。對於DUC數據集，我們消除了EOS並生成12個字。對於GIGA數據集，我們讓模型生成EOS。