attention networks for classification

Jaringan perhatian hierarkis untuk klasifikasi dokumen

Kita tahu bahwa dokumen memiliki struktur hierarkis, kata -kata bergabung untuk membentuk kalimat dan kalimat bergabung untuk membentuk dokumen. Kita dapat mencoba mempelajari struktur itu atau kita dapat memasukkan struktur hierarkis ini ke dalam model dan melihat apakah itu meningkatkan kinerja model yang ada. Makalah ini mengeksploitasi struktur itu untuk membangun model klasifikasi.

Ini adalah implementasi (dekat) model di Pytorch.

Catatan:

1. Saya bersama -sama mengoptimalkan model perhatian kata dan kalimat dengan pengoptimal yang sama.
2. Minibatch empuk dengan nol. Ini dapat ditingkatkan, seseorang dapat mengurutkan senja dengan panjang yang sama, dan meminimalkan padding.
3. Pytorch belum mendukung masking gradien, sehingga nol empuk akan memiliki gradien yang mengalir melalui mereka selama backpropagation. Seseorang dapat membuat topeng, tetapi karena saya tertarik untuk menggunakan BIDIRECTIONAL GRU, tidak mungkin menggunakan topeng. Saya telah melihat bahwa panjang variabel RNN Supoort akan segera hadir di Pytorch juga. UPDATE: Pytorch melakukan Supoort Masked RNN sekarang dengan metode pack_padded_ceseence.

Gambar dari blog ledakan ini menjelaskan strukturnya dengan sempurna.

Buku catatan

Notebook berisi contoh model terlatih pada dataset ulasan film IMDB. Saya tidak bisa mendapatkan dataset IMDB asli yang dimaksud dengan makalah ini, jadi saya telah menggunakan data ini

Data preproses tersedia di sini

Akurasi terbaik yang saya dapatkan adalah sekitar ~ 0,35. Dataset ini hanya memiliki 84919 sampel dan 10 kelas. Inilah kerugian pelatihan untuk dataset.