lectures

Pembukaan

Repositori ini berisi slide kuliah dan deskripsi kursus untuk kursus pemrosesan bahasa alami yang dalam yang ditawarkan dalam Hilary Term 2017 di University of Oxford.

Ini adalah kursus lanjutan tentang pemrosesan bahasa alami. Secara otomatis memproses input bahasa alami dan menghasilkan output bahasa adalah komponen kunci dari kecerdasan umum buatan. Ambiguitas dan kebisingan yang melekat dalam komunikasi manusia membuat teknik AI simbolik tradisional tidak efektif untuk mewakili dan menganalisis data bahasa. Baru -baru ini teknik statistik berdasarkan jaringan saraf telah mencapai sejumlah keberhasilan luar biasa dalam pemrosesan bahasa alami yang mengarah ke banyak minat komersial dan akademik di lapangan

Ini adalah kursus terapan yang berfokus pada kemajuan terbaru dalam menganalisis dan menghasilkan bicara dan teks menggunakan jaringan saraf berulang. Kami memperkenalkan definisi matematika dari model pembelajaran mesin yang relevan dan memperoleh algoritma optimasi yang terkait. Kursus ini mencakup berbagai aplikasi jaringan saraf di NLP termasuk menganalisis dimensi laten dalam teks, menyalin pidato ke teks, menerjemahkan antar bahasa, dan menjawab pertanyaan. Topik -topik ini diatur menjadi tiga tema tingkat tinggi yang membentuk perkembangan dari memahami penggunaan jaringan saraf untuk pemodelan bahasa berurutan, hingga memahami penggunaannya sebagai model bahasa bersyarat untuk tugas transduksi, dan akhirnya untuk mendekati menggunakan teknik ini dalam kombinasi dengan mekanisme lain untuk aplikasi canggih. Sepanjang kursus implementasi praktis dari model tersebut pada perangkat keras CPU dan GPU juga dibahas.

Kursus ini diselenggarakan oleh Phil Blunsom dan disampaikan dalam kemitraan dengan DeepMind Natural Language Research Group.

Dosen

• Phil Blunsom (Universitas Oxford dan DeepMind)
• Chris Dyer (Universitas Carnegie Mellon dan DeepMind)
• Edward Grefenstette (DeepMind)
• Karl Moritz Hermann (DeepMind)
• Andrew Senior (DeepMind)
• Wang Ling (DeepMind)
• Jeremy Appleyard (NVIDIA)

Tas

• Yannis Assael
• Yishu Miao
• Brendan Shillingford
• Jan Buys

Jadwal

Praktis

• Grup 1-Senin, 9: 00-11: 00 (Minggu 2-8), 60.05 Bangunan Thom
• Grup 2-Jumat, 16: 00-18: 00 (Minggu 2-8), Kamar 379

1. Praktis 1: Word2Vec
2. Praktis 2: Klasifikasi Teks
3. Praktis 3: Jaringan saraf berulang untuk klasifikasi teks dan pemodelan bahasa
4. Praktis 4: Terbuka Praktis

Ceramah

Kuliah publik diadakan di Teater Kuliah 1 dari Institut Matematika, pada hari Selasa dan Kamis (kecuali Minggu 8), 16: 00-18: 00 (Hilary Term Weeks 1,3-8).

Bahan kuliah

1. Kuliah 1A - Pendahuluan [Phil Blunsom]

Kuliah ini memperkenalkan kursus dan memotivasi mengapa menarik untuk mempelajari pemrosesan bahasa menggunakan teknik pembelajaran yang mendalam.

[Slide] [Video]

2. Kuliah 1B - Jaringan saraf dalam adalah teman kita [Wang Ling]

Kuliah ini merevisi konsep pembelajaran mesin dasar yang harus diketahui siswa sebelum memulai kursus ini.

[Slide] [Video]

3. Kuliah 2A- Semantik Level Kata [Ed Grefenstette]

Kata -kata adalah inti yang berarti unit bantalan dalam bahasa. Mewakili dan mempelajari makna kata -kata adalah tugas mendasar dalam NLP dan dalam kuliah ini konsep kata embedding diperkenalkan sebagai solusi praktis dan dapat diskalakan.

[Slide] [Video]

Membaca

Dasar -dasar Embeddings

• Firth, John R. "Sinopsis Teori Linguistik, 1930-1955." (1957): 1-32.
• Curran, James Richard. "Dari distribusi ke kesamaan semantik." (2004).
• Collobert, Ronan, dkk. "Pemrosesan bahasa alami (hampir) dari awal." Jurnal Penelitian Pembelajaran Mesin 12. Aug (2011): 2493-2537.
• Mikolov, Tomas, dkk. "Terdistribusi representasi kata dan frasa dan komposisionalitasnya." Kemajuan dalam sistem pemrosesan informasi saraf. 2013.

Set data dan visualisasi

• Finkelstein, Lev, et al. "Menempatkan Pencarian dalam Konteks: Konsep Revisited." Prosiding Konferensi Internasional ke -10 di World Wide Web. ACM, 2001.
• Hill, Felix, Roi Reichart, dan Anna Korhonen. "Simlex-999: Mengevaluasi model semantik dengan estimasi kesamaan (asli)." Linguistik Komputasi (2016).
• Maaten, Laurens van der, dan Geoffrey Hinton. "Visualisasi Data Menggunakan T-SNE." Jurnal Penelitian Pembelajaran Mesin 9.Nov (2008): 2579-2605.

Posting Blog

• Pembelajaran mendalam, NLP, dan representasi, Christopher Olah.
• Memvisualisasikan Tweeps Top dengan T-SNE, dalam JavaScript, Andrej Karpathy.

Bacaan lebih lanjut

• Hermann, Karl Moritz, dan Phil Blunsom. "Model multibahasa untuk semantik terdistribusi komposisi." ARXIV Preprint ARXIV: 1404.4641 (2014).
• Levy, Omer, dan Yoav Goldberg. "Kata saraf yang menanamkan sebagai faktorisasi matriks implisit." Kemajuan dalam sistem pemrosesan informasi saraf. 2014.
• Levy, Omer, Yoav Goldberg, dan Ido Dagan. "Meningkatkan kesamaan distribusi dengan pelajaran yang dipetik dari embeddings kata." Transaksi Asosiasi Linguistik Komputasi 3 (2015): 211-225.
• Ling, Wang, dkk. "Dua/terlalu sederhana adaptasi Word2VEC untuk masalah sintaksis." HLT-NAACL. 2015.

4. Kuliah 2B - Tinjauan Praktik [Chris Dyer]

Kuliah ini memotivasi segmen praktis kursus.

[Slide] [Video]

5. Kuliah 3 - Pemodelan Bahasa dan RNNS Bagian 1 [Phil Blunsom]

Pemodelan bahasa adalah tugas penting untuk penggunaan praktis yang luar biasa di banyak aplikasi NLP. Kuliah ini memperkenalkan pemodelan bahasa, termasuk pendekatan berbasis N-gram tradisional dan pendekatan saraf yang lebih kontemporer. Khususnya model bahasa Neural Network (RNN) yang populer diperkenalkan dan algoritma pelatihan dan evaluasi dasar yang dijelaskan.

[Slide] [Video]

Membaca

Buku pelajaran

• Pembelajaran mendalam, Bab 10.

Blog

• Efektivitas jaringan saraf berulang yang tidak masuk akal, Andrej Karpathy.
• Efektivitas model bahasa tingkat karakter yang tidak masuk akal, Yoav Goldberg.
• Menjelaskan dan menggambarkan inisialisasi ortogonal untuk jaringan saraf berulang, Stephen Merity.

6. Kuliah 4 - Pemodelan Bahasa dan RNNS Bagian 2 [Phil Blunsom]

Kuliah ini berlanjut dari yang sebelumnya dan mempertimbangkan beberapa masalah yang terlibat dalam menghasilkan implementasi yang efektif dari model bahasa RNN. Masalah gradien menghilang dan meledak dijelaskan dan solusi arsitektur, seperti memori jangka pendek (LSTM), diperkenalkan.

[Slide] [Video]

Membaca

Buku pelajaran

• Pembelajaran mendalam, Bab 10.

Gradien menghilang, LSTM dll.

• Tentang kesulitan melatih jaringan saraf berulang. Pascanu et al., ICML 2013.
• Memori jangka pendek yang panjang. Hochreiter dan Schmidhuber, Neural Computation 1997.
• Representasi frasa pembelajaran menggunakan rnn encoderdecoder untuk terjemahan mesin statistik. Cho et al, EMNLP 2014.
• Blog: Memahami Jaringan LSTM, Christopher Olah.

Menangani kosakata besar

• Model bahasa terdistribusi hierarkis yang dapat diskalakan. Mnih dan Hinton, Nips 2009.
• Algoritma yang cepat dan sederhana untuk melatih model bahasa probabilistik saraf. Mnih dan Teh, ICML 2012.
• Menggunakan kosakata target yang sangat besar untuk terjemahan mesin saraf. Jean et al., ACL 2015.
• Menjelajahi batas pemodelan bahasa. Jozefowicz et al., Arxiv 2016.
• Perkiraan softmax yang efisien untuk GPU. Grave et al., Arxiv 2016.
• Catatan tentang estimasi kontras kebisingan dan pengambilan sampel negatif. Dyer, Arxiv 2014.
• Pemodelan bahasa saraf pragmatis dalam terjemahan mesin. Baltescu dan Blunsom, NAACL 2015

Regularisasi dan putus sekolah

• Aplikasi dropout secara teoritis di jaringan saraf berulang. Gal dan Ghahramani, Nips 2016.
• Blog: Ketidakpastian dalam pembelajaran mendalam, Yarin Gal.

Barang lainnya

• Jaringan Jalan Raya Berulang. Zilly et al., Arxiv 2016.
• Kapasitas dan kemampuan pelatihan dalam jaringan saraf berulang. Collins et al., Arxiv 2016.

7. Kuliah 5 - Klasifikasi Teks [Karl Moritz Hermann]

Kuliah ini membahas klasifikasi teks, dimulai dengan pengklasifikasi dasar, seperti Bayes yang naif, dan maju ke RNN dan jaringan konvolusi.

[Slide] [Video]

Membaca

• Jaringan saraf konvolusional berulang untuk klasifikasi teks. Lai et al. AAAI 2015.
• Jaringan saraf konvolusional untuk pemodelan kalimat, Kalchbrenner et al. ACL 2014.
• Komposisionalitas semantik melalui matriks-vektor rekursif, Socher et al. EMNLP 2012.
• Blog: Memahami Jaringan Saraf Konvolusi untuk NLP, Denny Britz.
• Tesis: Representasi distribusi untuk semantik komposisi, Hermann (2014).

8. Kuliah 6 - Deep NLP tentang NVIDIA GPU [Jeremy Appleyard]

Kuliah ini memperkenalkan unit pemrosesan grafis (GPU) sebagai alternatif CPU untuk mengeksekusi algoritma pembelajaran yang mendalam. Kekuatan dan kelemahan GPU dibahas serta pentingnya memahami bagaimana bandwidth memori dan throughput dampak komputasi untuk RNNs.

[Slide] [Video]

Membaca

• Mengoptimalkan kinerja jaringan saraf berulang pada GPU. Appleyard et al., Arxiv 2016.
• RNN persisten: Menyimpan bobot berulang pada chip, Diamos et al., ICML 2016
• Perkiraan softmax yang efisien untuk GPU. Grave et al., Arxiv 2016.

9. Kuliah 7 - Model Bahasa Bersyarat [Chris Dyer]

Dalam kuliah ini kami memperluas konsep pemodelan bahasa untuk memasukkan informasi sebelumnya. Dengan mengkondisikan model bahasa RNN pada representasi input kita dapat menghasilkan bahasa yang relevan secara kontekstual. Gagasan yang sangat umum ini dapat diterapkan untuk mentransduksi urutan ke dalam urutan baru untuk tugas -tugas seperti terjemahan dan peringkasan, atau gambar ke dalam keterangan yang menggambarkan konten mereka.

[Slide] [Video]

Membaca

• Model terjemahan kontinu berulang. Kalchbrenner dan Blunsom, EMNLP 2013
• Urutan untuk mengurutkan pembelajaran dengan jaringan saraf. Sutskever et al., NIPS 2014
• Model bahasa saraf multimodal. Kiros et al., ICML 2014
• Tampilkan dan Tell: Generator Keterangan Gambar Saraf. Vinyals et al., CVPR 2015

10. Kuliah 8 - Membangkitkan Bahasa dengan Perhatian [Chris Dyer]

Kuliah ini memperkenalkan salah satu mekanisme paling penting dan pengaruh yang digunakan dalam jaringan saraf dalam: perhatian. Perhatian menambah jaringan berulang dengan kemampuan untuk mengkondisikan bagian -bagian spesifik dari input dan merupakan kunci untuk mencapai kinerja tinggi dalam tugas -tugas seperti terjemahan mesin dan teks gambar.

[Slide] [Video]

Membaca

• Terjemahan mesin saraf dengan belajar bersama untuk menyelaraskan dan menerjemahkan. Bahdanau et al., ICLR 2015
• Tunjukkan, hadir, dan katakan: Generasi Caption Gambar Saraf dengan Perhatian Visual. Xu et al., ICML 2015
• Memasukkan bias penyelarasan struktural ke dalam model terjemahan saraf atensi. Cohn et al., NAACL 2016
• Bleu: Metode untuk evaluasi otomatis terjemahan mesin. Papineni et al, ACL 2002

11. Kuliah 9 - Pengenalan Pidato (ASR) [Andrew Senior]

Automatic Speech Recognition (ASR) adalah tugas mentransduksi sinyal audio mentah bahasa lisan menjadi transkripsi teks. Pembicaraan ini mencakup sejarah model ASR, dari campuran Gaussian hingga perhatian yang ditambah, linguistik dasar bicara, dan berbagai representasi input dan output yang sering digunakan.

[Slide] [Video]

12. Kuliah 10 - Teks ke Pidato (TTS) [Andrew Senior]

Kuliah ini memperkenalkan algoritma untuk mengubah bahasa tertulis menjadi bahasa lisan (teks ke pidato). TTS adalah proses terbalik untuk ASR, tetapi ada beberapa perbedaan penting dalam model yang diterapkan. Di sini kami meninjau model TTS tradisional, dan kemudian mencakup pendekatan saraf yang lebih baru seperti model Wavenet DeepMind.

[Slide] [Video]

13. Kuliah 11 - Pertanyaan Menjawab [Karl Moritz Hermann]

[Slide] [Video]

Membaca

• Mesin pengajar untuk dibaca dan dipahami. Hermann et al., NIPS 2015
• Pembelajaran mendalam untuk pemilihan kalimat jawaban. Yu et al., NIPS Deep Learning Workshop 2014

14. Kuliah 12 - Memori [Ed Grefenstette]

[Slide] [Video]

Membaca

• Komputasi hibrida menggunakan jaringan saraf dengan memori eksternal dinamis. Graves et al., Nature 2016
• Penalaran tentang usaha dengan perhatian saraf. Rocktäschel et al., ICLR 2016
• Belajar untuk ditransduksi dengan memori yang tidak terbatas. GREFENSTETTE et al., NIPS 2015
• Jaringan memori ujung ke ujung. Sukhbaatar et al., NIPS 2015

15. Kuliah 13 - Pengetahuan Linguistik dalam Jaringan Saraf

[Slide] [Video]

Piazza

Kami akan menggunakan Piazza untuk memfasilitasi diskusi kelas selama kursus. Daripada mengirim email pertanyaan secara langsung, saya mendorong Anda untuk memposting pertanyaan Anda di Piazza untuk dijawab oleh sesama siswa, instruktur, dan dosen Anda. Namun harap perhatikan bahwa semua dosen untuk kursus ini secara sukarela dan mungkin tidak selalu tersedia untuk memberikan tanggapan.

Temukan halaman kelas kami di: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home

Penilaian

Penilaian utama untuk kursus ini adalah penugasan dibawa pulang yang dikeluarkan pada akhir masa jabatan. Tugas ini akan mengajukan pertanyaan yang menggambar konsep dan model yang dibahas dalam kursus, serta dari publikasi penelitian yang dipilih. Sifat pertanyaan akan mencakup menganalisis deskripsi matematika model dan mengusulkan ekstensi, perbaikan, atau evaluasi untuk model tersebut. Tugas ini juga dapat meminta siswa untuk membaca publikasi penelitian khusus dan mendiskusikan algoritma yang diusulkan dalam konteks kursus. Dalam menjawab pertanyaan, siswa akan diharapkan untuk menyajikan argumen tertulis yang koheren dan menggunakan rumus matematika yang sesuai, dan mungkin kode semu, untuk menggambarkan jawaban.

Komponen praktis kursus akan dinilai dengan cara yang biasa.

Ucapan Terima Kasih

Kursus ini tidak akan mungkin terjadi tanpa dukungan DeepMind, Departemen Ilmu Komputer Universitas Oxford, NVIDIA, dan sumbangan dermawan sumber daya GPU dari Microsoft Azure.