transformer pointer generator

Implementasi peringkasan abstraktif dengan transformator dan pointer-generator

Ketika saya ingin mendapatkan ringkasan dari Neural Network, saya mencoba banyak cara untuk menghasilkan ringkasan abstrak, tetapi hasilnya tidak baik. Ketika saya mendengar Piala Byte 2018, saya menemukan beberapa informasi tentang hal itu, dan solusi juara menarik saya, tetapi saya menemukan beberapa situs web, seperti GitHub Gitlab, saya tidak menemukan kode resmi, jadi saya memutuskan untuk mengimplementasikannya.

Persyaratan

• Python == 3.x (mari kita lanjutkan ke Python 3 jika Anda masih menggunakan Python 2)
• TensorFlow == 1.12.0
• TQDM> = 4.28.1
• Jieba> = 0,3x
• SUMEVAL> = 0.2.0

Struktur model

Berdasarkan

Model saya didasarkan pada perhatian adalah semua yang Anda butuhkan dan sampai ke poin: Ringkasan dengan jaringan pointer-generator

Mengubah

• Model pointer-generator memiliki dua mekanisme, yang merupakan mekanisme salinan dan mekanisme cakupan , saya menemukan beberapa bahan, mereka menunjukkan mekanisme cakupan tidak sesuai dengan ringkasan singkat, jadi saya tidak menggunakan mekanisme ini, cukup gunakan yang pertama.
• Model Pointer Generator memiliki ketidakcukupan, yang dapat membiarkan kerugiannya menjadi Nan, saya mencoba beberapa kali dan ingin memperbaikinya, tetapi hasilnya adalah saya tidak bisa, saya pikir alasannya adalah ketika menghitung logis akhir, itu akan memperpanjang panjang vocab ke oov dan panjang kosakata, itu akan mendapatkan lebih banyak nol. Jadi saya menghapus mekanisme memperluas logis akhir, cukup gunakan mekanisme deocode mereka dari artikel dan vocab. Ada lebih banyak detail tentang hal itu, dalam model ini, saya hanya menggunakan Word daripada Vocab, ide ini dari Bert.

Struktur

Pelatihan

• Langkah 1. Unduh dataset, PWD adalah Ayn6, datasetnya adalah LCST dengan pra -diproses, sehingga Anda akan melihat struktur dataset yang sangat berbeda dengan LCST dalam file masing -masing baris adalah abstrak dan artikel, mereka dibagi oleh "," , jika Anda khawatir jumlah datasetnya berbeda antara lcsts saya dan lcsts, jangan khawatir, datasetnya sama.
• Langkah 2. Jalankan perintah berikut.

 python train.py

Periksa hparams.py untuk melihat parameter mana yang mungkin. Misalnya,

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval

Kode saya juga meningkatkan multi GPU untuk melatih model ini, jika Anda memiliki lebih dari satu GPU, jalankan saja seperti ini

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval --gpu_nums=myGPUNums

nama	jenis	Detail
vocab_size	int	Ukuran Vocab
kereta	str	DATASET TERBAIKI DIR
evaluasi	str	Eval Dataset Dir
tes	str	Data untuk menghitung skor Rouge
Vocab	str	Jalur file kosa kata
Batch_Size	int	Ukuran Batch Kereta
eval_batch_size	int	Ukuran Batch Eval
lr	mengambang	tingkat pembelajaran
warmup_steps	int	Langkah Pemanasan dengan tingkat pembelajaran
logdir	str	Direktori Log
num_epochs	int	jumlah zaman kereta api
Evaldir	str	Evaluasi Dir
d_model	int	Dimensi tersembunyi encoder/decoder
d_ff	int	Dimensi tersembunyi dari lapisan feedforward
num_blocks	int	Jumlah blok encoder/decoder
num_heads	int	Jumlah Kepala Perhatian
Maxlen1	int	Panjang maksimum urutan sumber
Maxlen2	int	Panjang maksimum urutan target
dropout_rate	mengambang	tingkat putus sekolah
beam_size	int	Ukuran balok untuk decode
gpu_nums	int	Jumlah GPU, yang dapat memungkinkan berapa banyak GPU untuk melatih model ini, default 1

Catatan

Jangan ubah hiper-parameter transformer util Anda memiliki solusi yang baik, itu akan membiarkan kerugian tidak bisa turun! Jika Anda memiliki solusi yang bagus, saya harap Anda bisa memberi tahu saya.

Evaluasi

Kehilangan

• Generator Transformer-Pointer

* Transformer

Seperti yang Anda lihat, model generator transformer-pointer dapat membiarkan kerugian turun dengan sangat cepat!

Jika Anda menyukainya, dan berpikir itu berguna untuk Anda, semoga Anda bisa membintangi.