Abstractive Summarization With Transfer Learning

Resumo abstrato usando Bert como codificador e decodificador do transformador

Eu usei uma biblioteca de geração de texto chamada Texar, é uma bela biblioteca com muitas abstrações, eu diria que é Scikit aprender para problemas de geração de texto.

A principal idéia por trás dessa arquitetura é usar o aprendizado de transferência de um modelo de linguagem mascarado, substituí a parte do codificador pelo codificador Bert e o Deocder é treinado do arranhão.

Uma das vantagens do uso de redes transfômeras é o treinamento é muito mais rápido que os modelos baseados em LSTM, à medida que eliminamos o comportamento seqüencial em modelos de transformadores.

Modelos baseados em transformadores geram frases mais gramaticamente corretas e coerentes.

Para executar o modelo

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
UNZIP UNSHED_L-12_H-768_A-22.ZIP
Coloque a história e os arquivos de resumo na pasta de dados com os seguintes nomes.
-Train_story.txt
-Train_summ.txt
-eval_story.txt
-eval_summ.txt
Cada história e resumo devem estar em uma única linha (consulte o texto de amostra fornecido.)
Etapa1:
Execute o pré -processamento
python preprocess.py
Isso cria dois arquivos Tfrecord na pasta de dados.
Etapa 2:
python main.py
As configurações para o modelo podem ser alterações no arquivo config.py
Etapa 3:
Inferência
Execute o comando python inference.py
Este código executa um servidor de frasco
Use Postman para enviar a solicitação de postagem @http: // your_ip_address: 1118/resultados
Com dois parâmetros de formulário história, resumo