transformer pointer generator

通过变压器和指针生成器的抽象性汇总实现

当我想通过神经网络获得摘要时，我尝试了许多方法来生成摘要，但是结果不好。当我听到2018年字节杯时，我找到了一些有关它的信息，冠军的解决方案吸引了我，但是我找到了一些网站，例如Github Gitlab，我没有找到官方代码，因此我决定实施它。

要求

• python == 3.x（如果您仍然使用Python 2，请继续前进python 3）
• TensorFlow == 1.12.0
• TQDM> ​​= 4.28.1
• jieba> = 0.3倍
• Sumeval> = 0.2.0

模型结构

基于

我的模型是基于注意的是您所需要的，并提到了：用指针生成网络汇总

改变

• Pointer-Generator模型具有两种机制，它们是复制机制和覆盖机制，我发现了一些材料，它们显示了覆盖机制不适合简短摘要，因此我不使用这种机制，只使用第一个机制。
• 指针发电机模型的模型不足，这可以让损失得到NAN，我尝试了一些次并想解决它，但是结果是我不能，我认为原因是当计算最终物流师时，它将将词汇长度扩展到OOV和vocab长度，它将获得更多的零。因此，我删除了扩展最终物流师的机制，只需使用其从文章和vocab中使用其Deocode机制即可。关于它的详细信息，在这个模型中，我只使用单词而不是词汇，这个想法来自伯特。

结构

训练

• 步骤1。下载数据集，PWD为Ayn6，数据集按预处理为LCST，因此您会看到文件中的LCST在文件中的LCST中非常不同，每行都是抽象的，并且它们由“，” ，如果您担心数据集的数量在我和LCST之间是不同的，则不必担心数据的效果，就不会让数据集与数据集相同。
• 步骤2。运行以下命令。

 python train.py

检查hparams.py以查看可能的参数。例如，

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval

我的代码还可以改善多GPU来训练该模型，如果您有一个以上的GPU，就这样运行

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval --gpu_nums=myGPUNums

姓名	类型	细节
vocab_size	int	词汇大小
火车	str	火车数据集DIR
评估	str	DEAD DATASET DIR
测试	str	计算胭脂分数的数据
词汇	str	词汇文件路径
batch_size	int	火车批次尺寸
eval_batch_size	int	评估批处理大小
LR	漂浮	学习率
热身_STEPS	int	通过学习率的热身步骤
logdir	str	日志目录
num_epochs	int	火车时代的数量
评估	str	评估dir
d_model	int	编码器/解码器的隐藏尺寸
D_FF	int	馈电层的隐藏尺寸
num_blocks	int	编码器/解码器块的数量
num_heads	int	注意力头数
maxlen1	int	源序列的最大长度
maxlen2	int	目标序列的最大长度
dropout_rate	漂浮	辍学率
beam_size	int	梁尺寸的解码
gpu_nums	int	GPU金额，可以允许多少GPU训练此模型，默认1

笔记

不要更改变压器的超参数，您有很好的解决方案，它会让损失无法消失！如果您有好的解决方案，希望您能告诉我。

评估

损失

• 变形金刚生成器

*变压器

如您所见，变形金刚生成器模型可以使损失迅速下降！

如果您喜欢它，并认为对您有用，希望您可以出演。