TextClassification Keras

TextClassification-Kera

Repositori kode ini mengimplementasikan berbagai model pembelajaran yang mendalam untuk klasifikasi teks menggunakan kerangka keras , yang meliputi: FastText , TextCnn , Textrnn , TextBirnn , TextattBirnn , Han , RCNN , RCNNVariant , dll. Selain implementasi model, aplikasi yang disederhanakan disertakan.

• Dokumen bahasa Inggris
• 中文文档

Panduan

1. Lingkungan
2. Penggunaan
3. Model
   1. FastText
   2. Textcnn
   3. Textrnn
   4. TextBirnn
   5. Textattbirnn
   6. Han
   7. Rcnn
   8. Rcnnvariant
   9. Untuk dilanjutkan ...
4. Referensi

Lingkungan

• Python 3.7
• Numpy 1.17.2
• TensorFlow 2.0.1

Penggunaan

Semua kode terletak di direktori /model , dan setiap jenis model memiliki direktori yang sesuai di mana model dan aplikasi ditempatkan.

Misalnya, model dan aplikasi FastText terletak di bawah /model/FastText , bagian modelnya adalah fast_text.py , dan bagian aplikasi adalah main.py

Model

1 FastText

FastText diusulkan dalam kantong kertas trik untuk klasifikasi teks yang efisien.

1.1 Deskripsi di Kertas

1. Menggunakan meja pencarian, tas Ngram yang terselubung ke representasi kata .
2. Representasi kata dirata -rata menjadi representasi teks, yang merupakan variabel tersembunyi.
3. Representasi teks pada gilirannya diumpankan ke classifier linier .
4. Gunakan fungsi softmax untuk menghitung distribusi probabilitas selama kelas yang telah ditentukan.

1.2 Implementasi di sini

Struktur jaringan FastText:

2 Textcnn

Textcnn diusulkan dalam jaringan neural convolutional networks untuk klasifikasi kalimat.

2.1 Deskripsi di Kertas

1. Mewakili kalimat dengan saluran statis dan non-statis .
2. Convolve dengan beberapa lebar filter dan peta fitur.
3. Gunakan pooling max-over-time .
4. Gunakan lapisan yang sepenuhnya terhubung dengan dropout dan softmax ouput.

2.2 Implementasi di sini

Struktur Jaringan Textcnn:

3 Textrnn

Textrnn telah disebutkan dalam jaringan saraf berulang untuk klasifikasi teks dengan pembelajaran multi-tugas.

3.1 Deskripsi di Kertas

3.2 Implementasi di sini

Struktur Jaringan Textrnn:

4 TextBirnn

TextBirnn adalah model yang ditingkatkan berdasarkan Textrnn. Ini meningkatkan lapisan RNN dalam struktur jaringan menjadi lapisan RNN dua arah. Diharapkan bahwa tidak hanya informasi penyandian ke depan tetapi juga informasi pengkodean balik dapat dipertimbangkan. Belum ada makalah terkait.

Struktur jaringan TextBirnn:

5 Textattbirnn

Textattbirnn adalah model yang lebih baik yang memperkenalkan mekanisme perhatian berdasarkan TextBirnn. Untuk vektor representasi yang diperoleh dengan encoder RNN dua arah, model dapat fokus pada informasi yang paling relevan dengan pengambilan keputusan melalui mekanisme perhatian. Mekanisme perhatian pertama kali diusulkan dalam makalah terjemahan mesin saraf dengan belajar bersama untuk menyelaraskan dan menerjemahkan, dan implementasi mekanisme perhatian di sini dirujuk ke jaringan umpan-depan kertas ini dengan perhatian dapat menyelesaikan beberapa masalah memori jangka panjang.

5.1 Deskripsi di Kertas

Dalam jaringan feed-forward kertas dengan perhatian dapat menyelesaikan beberapa masalah memori jangka panjang, perhatian ke depan disederhanakan sebagai berikut,

Fungsi a , fungsi yang dapat dipelajari, diakui sebagai jaringan forward forward . Dalam formulasi ini, perhatian dapat dilihat sebagai menghasilkan embedding panjang tetap c dari urutan input dengan menghitung rata-rata tertimbang adaptif dari urutan keadaan h

5.2 Implementasi di sini

Implementasi perhatian tidak dijelaskan di sini, silakan merujuk ke kode sumber secara langsung.

Struktur jaringan Textattbirnn:

6 Han

Han diusulkan dalam jaringan perhatian hirarkis kertas untuk klasifikasi dokumen.

6.1 Deskripsi di Kertas

1. Word Encoder . Pengkodean oleh Bidirectional Gru , anotasi untuk kata yang diberikan diperoleh dengan menggabungkan keadaan tersembunyi ke depan dan keadaan tersembunyi terbelakang, yang merangkum informasi dari seluruh kalimat yang berpusat di sekitar kata dalam langkah waktu saat ini.
2. Perhatian kata . Dengan fungsi MLP dan softmax satu lapis, dimungkinkan untuk menghitung bobot kepentingan yang dinormalisasi dibandingkan anotasi kata sebelumnya. Kemudian, hitung vektor kalimat sebagai jumlah tertimbang dari kata anotasi berdasarkan bobot.
3. Encoder kalimat . Dengan cara yang sama dengan Word Encoder, gunakan GRU dua arah untuk menyandikan kalimat untuk mendapatkan anotasi untuk kalimat.
4. Perhatian kalimat . Mirip dengan perhatian kata, gunakan fungsi MLP dan softmax satu lapis untuk mendapatkan bobot atas anotasi kalimat. Kemudian, hitung sejumlah tertimbang dari anotasi kalimat berdasarkan bobot untuk mendapatkan vektor dokumen.
5. Klasifikasi Dokumen . Gunakan fungsi softmax untuk menghitung probabilitas semua kelas.

6.2 Implementasi di sini

Implementasi perhatian di sini didasarkan pada feedforwardtera, yang sama dengan perhatian dalam tekstbirnn.

Struktur Jaringan Han:

Pembungkus yang didistribusikan diatur di sini digunakan di sini, karena parameter embedding, RNN dua arah, dan lapisan perhatian diharapkan dibagi pada dimensi langkah waktu.

7 rcnn

RCNN diusulkan dalam kertas saraf konvolusional berulang untuk klasifikasi teks.

7.1 Deskripsi di Kertas

1. Pembelajaran Representasi Kata . RCNN menggunakan struktur berulang, yang merupakan jaringan saraf berulang dua arah , untuk menangkap konteks. Kemudian, gabungkan kata dan konteksnya untuk menyajikan kata tersebut. Dan menerapkan transformasi linier bersama dengan aktivasi tanh ke representasi.
2. Pembelajaran Representasi Teks . Ketika semua representasi kata dihitung, itu menerapkan lapisan pemecahan-maks elemen untuk menangkap informasi paling penting di seluruh teks. Akhirnya, lakukan transformasi linier dan terapkan fungsi Softmax .

7.2 Implementasi di sini

Struktur Jaringan RCNN:

8 rcnnvariant

RCNNVariant adalah model yang ditingkatkan berdasarkan RCNN dengan perbaikan berikut. Belum ada makalah terkait.

1. Tiga input diubah menjadi input tunggal . Input konteks kiri dan kanan dihapus.
2. Gunakan BIDIRECTIONAL LSTM/GRU sebagai ganti RNN tradisional untuk konteks pengkodean.
3. Gunakan CNN multi-channel untuk mewakili vektor semantik.
4. Ganti lapisan aktivasi TANH dengan lapisan aktivasi relu .
5. Gunakan rata -rata rata -rata dan maxpooling .

Struktur jaringan rcnnvariant:

Untuk dilanjutkan ...

Referensi

1. Tas trik untuk klasifikasi teks yang efisien
2. Contoh keras imdb fasttext
3. Jaringan Saraf Konvolusional untuk Klasifikasi Kalimat
4. Contoh keras imdb cnn
5. Jaringan saraf berulang untuk klasifikasi teks dengan pembelajaran multi-tugas
6. Terjemahan mesin saraf dengan belajar bersama untuk menyelaraskan dan menerjemahkan
7. Jaringan feed-forward dengan perhatian dapat menyelesaikan beberapa masalah memori jangka panjang
8. perhatian cbaziotis
9. Jaringan perhatian hierarkis untuk klasifikasi dokumen
10. Han Richard
11. Jaringan saraf konvolusional berulang untuk klasifikasi teks
12. Airalcorn2's RCNN