transformer pointer generator

通過變壓器和指針生成器的抽象性匯總實現

當我想通過神經網絡獲得摘要時，我嘗試了許多方法來生成摘要，但是結果不好。當我聽到2018年字節杯時，我找到了一些有關它的信息，冠軍的解決方案吸引了我，但是我找到了一些網站，例如Github Gitlab，我沒有找到官方代碼，因此我決定實施它。

要求

• python == 3.x（如果您仍然使用Python 2，請繼續前進python 3）
• TensorFlow == 1.12.0
• TQDM> ​​= 4.28.1
• jieba> = 0.3倍
• Sumeval> = 0.2.0

模型結構

基於

我的模型是基於注意的是您所需要的，並提到了：用指針生成網絡匯總

改變

• Pointer-Generator模型具有兩種機制，它們是複製機制和覆蓋機制，我發現了一些材料，它們顯示了覆蓋機制不適合簡短摘要，因此我不使用這種機制，只使用第一個機制。
• 指針發電機模型的模型不足，這可以讓損失得到NAN，我嘗試了一些次並想解決它，但是結果是我不能，我認為原因是當計算最終物流師時，它將將詞彙長度擴展到OOV和vocab長度，它將獲得更多的零。因此，我刪除了擴展最終物流師的機制，只需使用其從文章和vocab中使用其Deocode機制即可。關於它的詳細信息，在這個模型中，我只使用單詞而不是詞彙，這個想法來自伯特。

結構

訓練

• 步驟1。下載數據集，PWD為Ayn6，數據集按預處理為LCST，因此您會看到文件中的LCST在文件中的LCST中非常不同，每行都是抽象的，並且它們由“，” ，如果您擔心數據集的數量在我和LCST之間是不同的，則不必擔心數據的效果，就不會讓數據集與數據集相同。
• 步驟2。運行以下命令。

 python train.py

檢查hparams.py以查看可能的參數。例如，

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval

我的代碼還可以改善多GPU來訓練該模型，如果您有一個以上的GPU，就這樣運行

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval --gpu_nums=myGPUNums

姓名	類型	細節
vocab_size	int	詞彙大小
火車	str	火車數據集DIR
評估	str	DEAD DATASET DIR
測試	str	計算胭脂分數的數據
詞彙	str	詞彙文件路徑
batch_size	int	火車批次尺寸
eval_batch_size	int	評估批處理大小
LR	漂浮	學習率
熱身_STEPS	int	通過學習率的熱身步驟
logdir	str	日誌目錄
num_epochs	int	火車時代的數量
評估	str	評估dir
d_model	int	編碼器/解碼器的隱藏尺寸
D_FF	int	饋電層的隱藏尺寸
num_blocks	int	編碼器/解碼器塊的數量
num_heads	int	注意力頭數
maxlen1	int	源序列的最大長度
maxlen2	int	目標序列的最大長度
dropout_rate	漂浮	輟學率
beam_size	int	梁尺寸的解碼
gpu_nums	int	GPU金額，可以允許多少GPU訓練此模型，默認1

筆記

不要更改變壓器的超參數，您有很好的解決方案，它會讓損失無法消失！如果您有好的解決方案，希望您能告訴我。

評估

損失

• 變形金剛生成器

*變壓器

如您所見，變形金剛生成器模型可以使損失迅速下降！

如果您喜歡它，並認為對您有用，希望您可以出演。