transformer pointer generator

Uma implementação abstrata de resumo com transformador e gerador de ponteiros

Quando eu queria obter o resumo da rede neural, tentei muitas maneiras de gerar resumo abstrato, mas o resultado não foi bom. Quando ouvi a Byte Cup 2018, encontrei algumas informações sobre isso, e a solução do campeão me atraiu, mas encontrei alguns sites, como o Github Gitlab, não encontrei o código oficial, então decidi implementá -lo.

Requisitos

• python == 3.x (vamos para Python 3 se você ainda usar o Python 2)
• tensorflow == 1.12.0
• TQDM> = 4,28.1
• Jieba> = 0,3x
• SUMEVAL> = 0.2.0

Estrutura do modelo

Baseado

Meu modelo é baseado na atenção é tudo o que você precisa e chega ao ponto: resumo com redes de generadores de ponteiro

Mudar

• O modelo de ponteiro-gerador possui dois mecanismos, que são mecanismo de cópia e mecanismo de cobertura , encontrei alguns materiais, eles mostram que o mecanismo de cobertura não se adequa ao resumo curto, então não usei esse mecanismo, basta usar o primeiro.
• O Modelo do Gerador de Ponteiro tem uma inadequação, que pode permitir que a perda tenha recebido NAN, eu tentei algumas vezes e queria corrigi -lo, mas o resultado foi que não posso, acho que o motivo foi quando o calcular os logistas finais, estenderá o comprimento do vocaborismo ao OOV e o comprimento do vocabulário, terá mais zeros. Por isso, excluo o mecanismo de estender os logistas finais, basta usar seu mecanismo de desocódigo do artigo e vocabulário. Há mais detalhes sobre isso, neste modelo, eu apenas uso palavras do que vocable, essa idéia é de Bert.

Estrutura

Treinamento

• Etapa 1. Download do conjunto de dados, a PWD é AYN6, o conjunto de dados é LCSTS por pré -processado, para que você verá uma estrutura de conjunto de dados muito diferente com LCSTs no arquivo que cada linha é abstrata e artigo, eles se dividem por "," , se você se preocupa com a quantidade de dados é a mesma e LCSTS, não se preocupe.
• Etapa 2. Execute o seguinte comando.

 python train.py

Verifique hparams.py para ver quais parâmetros são possíveis. Por exemplo,

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval

Meu código também melhora a GPU multi para treinar esse modelo, se você tiver mais de uma GPU, basta correr assim

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval --gpu_nums=myGPUNums

nome	tipo	detalhe
vocab_size	int	Tamanho do vocabulário
trem	str	Treine DataSet Dir
aval	str	avaliar o DATASET Dir
teste	str	Dados para calcular a pontuação do Rouge
vocab	str	Caminho do arquivo de vocabulário
batch_size	int	Treine Tamanho do lote
Eval_batch_size	int	Tamanho do lote de avaliação
lr	flutuador	taxa de aprendizado
warmup_steps	int	Etapas de aquecimento da taxa de aprendizagem
logdir	str	diretório de log
num_epochs	int	o número de época do trem
Evaldir	str	Avaliação Dir
d_model	int	dimensão oculta do codificador/decodificador
d_ff	int	dimensão oculta da camada de feedforward
Num_blocks	int	Número de blocos de codificador/decodificador
Num_heads	int	Número de cabeças de atenção
Maxlen1	int	comprimento máximo de uma sequência de origem
Maxlen2	int	comprimento máximo de uma sequência alvo
DOLHOUT_RATE	flutuador	taxa de abandono
feam_size	int	Tamanho do feixe para decodificar
gpu_nums	int	Quantidade de GPU, que pode permitir quantos GPU treinam este modelo ， padrão 1

Observação

Não altere os hiper-parâmetros do transformador Util, você tem uma boa solução, isso deixará a perda não pode diminuir! Se você tem uma boa solução, espero que você possa me dizer.

Avaliação

Perda

• Gerador de pontos de transformador

* Transformador

Como você vê, o modelo do gerador de pontos de transformador pode deixar a perda cair muito rapidamente!

Se você gosta, e acha útil para você, espero que você possa estrelar.