DeepNLP Course

Kursus NLP yang dalam di Abbyy

Pembelajaran mendalam untuk kursus kecelakaan NLP di Abbyy.

Buku Teks yang Disarankan: Metode Jaringan Saraf dalam Pemrosesan Bahasa Alami oleh Yoav Goldberg

Saya secara bertahap memperbarui dan menerjemahkan notebook sekarang. Tetap berhubungan.

Bahan

Minggu 1: Pendahuluan

Analisis Sentimen pada Dataset Tinjauan Film IMDB: Tinjauan singkat pembelajaran mesin klasik untuk NLP + intro singkat untuk Keras.

Versi Rusia:

Versi bahasa Inggris yang diperbarui:

Minggu 2: Word Embeddings: Bagian 1

Temui kata embeddings: metode yang tidak diawasi untuk menangkap beberapa hubungan yang menyenangkan antara kata -kata.
Frasa kesamaan dengan kata embeddings model + terjemahan mesin berbasis kata tanpa data paralel (dengan embeddings kata muse).

Versi Rusia:

Versi bahasa Inggris yang diperbarui:

Minggu 3: Word Embeddings: Bagian 2

Pengantar Pytorch. Implementasi Regresi Linier PET pada Numpy dan Pytorch murni. Implementasi CBOW, Skip-Gram, Pengambilan sampel negatif dan model Word2VEC terstruktur.

Versi Rusia:

Versi bahasa Inggris yang diperbarui:

Minggu 4: Jaringan Saraf Konvolusional

Pengantar Jaringan Konvolusional. Hubungan antara konvolusi dan n-gram. Detektor nama keluarga sederhana pada konvolusi tingkat karakter + visualisasi yang menyenangkan.

Versi Rusia:

Versi bahasa Inggris yang diperbarui:

Minggu 5: RNNs: Bagian 1

RNN untuk klasifikasi teks. Implementasi RNN Sederhana + Uji Hafalan. Detektor nama keluarga dalam pengaturan multibahasa: Klasifikasi LSTM tingkat karakter.

Versi Rusia:

Versi bahasa Inggris yang diperbarui:

Minggu 6: RNNs: Bagian 2

RNN untuk pelabelan urutan. Implementasi tagger bagian-of-speech berdasarkan embeddings kata dan embeddings kata tingkat karakter.

Versi Rusia:

Minggu 7: Model Bahasa: Bagian 1

Model Bahasa Tingkat Karakter untuk Tweet Troll Rusia Generasi: Model Window Tetap melalui Konvolusi dan Model RNN.
Model Bahasa Bersyarat Sederhana: Bahasa Generasi Nama Bahasa Sumber yang Diberikan.
Dan tantangan klasifikasi komentar beracun - untuk menerapkan keterampilan Anda pada masalah dunia nyata.

Versi Rusia:

Minggu 8: Model Bahasa: Bagian 2

Model bahasa tingkat kata untuk generasi puisi. Contoh PET pembelajaran transfer dan pembelajaran multi-tugas diterapkan pada model bahasa.

Versi Rusia:

Minggu 9: SEQ2SEQ

SEQ2SEQ untuk terjemahan mesin dan captioning gambar. Pengkodean Byte-Pair, pencarian balok dan barang-barang berguna lainnya untuk terjemahan mesin.

Versi Rusia:

Minggu 10: SEQ2SEQ dengan perhatian

SEQ2SEQ dengan perhatian untuk terjemahan mesin dan captioning gambar.

Versi Rusia:

Minggu 11: Transformers & Peringkasan Teks

Implementasi model transformator untuk peringkasan teks. Diskusi jaringan pointer-generator untuk peringkasan teks.

Versi Rusia:

Minggu 12: Sistem Dialog: Bagian 1

Sistem dialog yang berorientasi pada tujuan. Implementasi Model Multi-Task: Klasifikasi Intent dan Token Tagger untuk Manajer Dialog.

Versi Rusia:

Minggu 13: Sistem Dialog: Bagian 2

Sistem Dialog Percakapan Umum dan DSSMS. Implementasi model penjawab pertanyaan pada dataset skuad dan model obrolan pada dataset OpenSubtitles.

Versi Rusia:

Minggu 14: Model Pretrained

Model Pretrained untuk berbagai tugas: Encoder Kalimat Universal untuk Kesamaan Kalimat, Elmo untuk penandaan urutan (dengan sedikit CRF), Bert untuk barang curian - alasan tentang kemungkinan kelanjutan.

Versi Rusia:

Presentasi akhir

Ringkasan NLP - Ringkasan hal -hal keren yang muncul dan tidak ada dalam kursus.