course nlp

Intro kode-pertama untuk pemrosesan bahasa alami

Anda dapat mengetahui tentang kursus di posting blog ini dan semua video kuliah tersedia di sini.

Kursus ini awalnya diajarkan di Program Master of Science dalam Sains Data University of San Francisco, Musim Panas 2019. Kursus ini diajarkan dalam Python dengan Jupyter Notebooks, menggunakan perpustakaan seperti SkLearn, NLTK, Pytorch, dan Fastai.

Daftar isi

Topik berikut akan dibahas:

1. Apa itu NLP?

• Bidang yang berubah
• Sumber daya
• Peralatan
• Perpustakaan Python
• Contoh aplikasi
• Masalah Etika

2. Pemodelan topik dengan NMF dan SVD

• Hentikan kata -kata, batang, & lemmatisasi
• Matriks istilah-dokumen
• Frekuensi dokumen frekuensi topik (TF-IDF)
• Dekomposisi Nilai Singular (SVD)
• Faktorisasi Matriks Non-Negatif (NMF)
• SVD terpotong, SVD acak

3. Klasifikasi Sentimen dengan Bayes Naif, Regresi Logistik, dan Ngrams

• Penyimpanan Matriks Jarang
• Counter
• Perpustakaan Fastai
• Bayes yang naif
• Regresi logistik
• Ngrams
• Regresi logistik dengan fitur Bayes yang naif, dengan trigram

4. Regex (dan mengunjungi kembali tokenisasi)

5. Pemodelan Bahasa & Klasifikasi Sentimen dengan Pembelajaran mendalam

• Model Bahasa
• Transfer pembelajaran
• Klasifikasi sentimen

6. Terjemahan dengan RNNS

• Ulasan Embeddings
• Metrik Bleu
• Guru memaksa
• Dua arah
• Perhatian

7. Terjemahan dengan arsitektur transformator

• Model Transformer
• Perhatian multi-head
• Menutupi
• Label smoothing

8. Bias & Etika di NLP

• bias dalam kata embeddings
• jenis bias
• Perhatian Ekonomi
• Tenggelam dalam info penipuan/palsu

Mengapa kursus ini diajarkan dalam urutan yang aneh?

Kursus ini disusun dengan metode pengajaran top-down , yang berbeda dari bagaimana sebagian besar kursus matematika beroperasi. Biasanya, dalam pendekatan bottom-up , pertama-tama Anda mempelajari semua komponen terpisah yang akan Anda gunakan, dan kemudian Anda secara bertahap membangunnya menjadi struktur yang lebih kompleks. Masalah dengan ini adalah bahwa siswa sering kehilangan motivasi, tidak memiliki rasa "gambaran besar", dan tidak tahu apa yang akan mereka butuhkan.

Profesor Harvard David Perkins memiliki buku, membuat pembelajaran utuh di mana ia menggunakan baseball sebagai analogi. Kami tidak mengharuskan anak -anak untuk menghafal semua aturan baseball dan memahami semua detail teknis sebelum kami membiarkan mereka memainkan permainan. Sebaliknya, mereka mulai bermain dengan rasa umum yang adil, dan kemudian secara bertahap mempelajari lebih banyak aturan/detail seiring berjalannya waktu.

Jika Anda mengikuti kursus pembelajaran mendalam dengan cepat, itulah yang kami gunakan. Anda dapat mendengar lebih banyak tentang filosofi pengajaran saya di posting blog ini atau pembicaraan yang saya berikan di pertemuan pembelajaran mesin San Francisco.

Semua itu untuk dikatakan, jangan khawatir jika Anda tidak mengerti semuanya pada awalnya! Anda tidak seharusnya. Kami akan mulai menggunakan beberapa "kotak hitam" dan kemudian kami akan menggali detail tingkat bawah nanti.

Untuk memulai, fokuslah pada apa yang dilakukan, bukan apa adanya.