Abstractive Summarization With Transfer Learning

Ringkasan abstraktif menggunakan Bert As Encoder dan Decoder Transformer

Saya telah menggunakan perpustakaan generasi teks yang disebut Texar, ini adalah perpustakaan yang indah dengan banyak abstraksi, saya akan mengatakan itu adalah scikit belajar untuk masalah pembuatan teks.

Gagasan utama di balik arsitektur ini adalah menggunakan pembelajaran transfer dari model bahasa bertopeng pretrained, saya telah mengganti bagian enkoder dengan Bert Encoder dan deocder dilatih dari awal.

Salah satu keuntungan menggunakan jaringan transfomer adalah pelatihan jauh lebih cepat daripada model berbasis LSTM karena kami menghilangkan perilaku berurutan dalam model transformator.

Model berbasis transformator menghasilkan lebih banyak kalimat yang benar secara gramatik dan koheren.

Untuk menjalankan model

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
unzip uncased_l-12_h-768_a -2.zip
Tempatkan cerita dan ringkasan file di bawah folder data dengan nama -nama berikut.
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
Setiap cerita dan ringkasan harus dalam satu baris (lihat teks sampel yang diberikan.)
Langkah1:
Jalankan preprocessing
python preprocess.py
Ini membuat dua file TFRECORD di bawah folder data.
Langkah 2:
Python Main.py
Konfigurasi untuk model dapat berubah dari file config.py
Langkah 3:
Kesimpulan
Jalankan perintah python inference.py
Kode ini menjalankan server Flask
Gunakan tukang pos untuk mengirim permintaan posting @http: // your_ip_address: 1118/hasil
dengan dua cerita parameter bentuk, ringkasan