deep learning nlp kaggle toxic comment

Pembelajaran mendalam untuk NLP

Tutorial ini adalah pengenalan menggunakan algoritma pembelajaran yang mendalam dalam domain pemrosesan bahasa alami.

Dan disiapkan menggunakan konten (teori dan kode) dari sumber berikut:

1. Pembelajaran mendalam dengan Python, Buku oleh François Chollet
2. Metode Jaringan Saraf Dalam Pemrosesan Bahasa Alami, Pesan oleh Yoav Goldberg
3. CS224D: Pembelajaran mendalam untuk pemrosesan bahasa alami

Kode Praktek pada Kaggle's Toxic Comment Classification Challenge Dataset

Daftar isi

1. Menggunakan kasus

   1. Klasifikasi Urutan
      1. Deteksi Bahasa
      2. Klasifikasi kategori (sentimen, topik dll.)
      3. Klasifikasi Kata Kunci (Nama-Jender, Tempat/Nama Orang)
   2. Urutan ke urutan (seq2seq)
      1. Terjemahan
      2. Gmail Balas Cerdas
      3. AI Conversational: Bot Obrolan
   3. Yang lain
      1. Nama, cerita, puisi, generator dialog
      2. Captioning gambar
      3. Bagian dari penandaan pidato
      4. Pengakuan Entitas Nama

2. Pengaturan Sistem

   1. Python 3.6
   2. Pip
   3. Virtualenv
   4. Perpustakaan:
      • Keras
      • Tensorflow
      • Jupyter
      • matplotlib

3. Set data untuk dimainkan

   1. IMDB Review Dataset
   2. Kaggle (tantangan klasifikasi komentar beracun) dataset komentar wikipedia
   3. Ubuntu Dialog Corpora
   4. Dataset terjemahan
   5. Kumpulan data lainnya

4. Analisis Data

   1. Analisis Umum

5. Representasi urutan

   1. Perwakilan
   2. Satu penyandian panas
   3. Kata embeddings
      • Embeddings pra terlatih
        • Word2vec
        • Sarung tangan

6. Model

   1. Menanamkan ke Kelas Model 1
   2. Menanamkan terhubung ke 1 lapisan RNN (jaringan saraf berulang) Model 2 dan Model 2 Diperpanjang
   3. Model RNN Digirectional 3 dan Model 3 diperpanjang

7. Arsitektur RNN modern

   1. Memori jangka pendek (LSTM)
   2. Unit Recurrent Gater (GRU)
   3. Seq2seq
   4. Perhatian
   5. Pencarian balok

8. Keras

   1. API & Kata Kunci
      1. Pengoptimal
      2. Kehilangan
      3. Pengaktifan
      4. Metrik
   2. Menggunakan model untuk produksi dan inferensi

9. Teknik optimasi model

   1. Putus sekolah
   2. Terpotong Backpropagation Melalui Waktu (TBPTT)
   3. Masalah gradien menghilang