nlp_overview

Teknik pembelajaran mendalam modern diterapkan pada pemrosesan bahasa alami

Proyek ini berisi tinjauan umum tren terbaru dalam pemrosesan bahasa alami (NLP) yang mendalam. Ini mencakup deskripsi teoretis dan detail implementasi di balik model pembelajaran yang mendalam, seperti jaringan saraf berulang (RNN), jaringan saraf konvolusional (CNN), dan pembelajaran penguatan, yang digunakan untuk menyelesaikan berbagai tugas dan aplikasi NLP. Tinjauan ini juga berisi ringkasan hasil canggih untuk tugas -tugas NLP seperti terjemahan mesin , jawaban pertanyaan , dan sistem dialog . Anda dapat menemukan sumber belajar di alamat berikut: https://nlpoverview.com/. Snapshot dari situs web disediakan di bawah ini:

Tentang proyek ini

Motivasi utama untuk proyek ini adalah sebagai berikut:

• Pertahankan sumber belajar terkini yang mengintegrasikan informasi penting yang terkait dengan penelitian NLP, seperti:
  • Hasil canggih
  • konsep dan aplikasi yang muncul
  • Dataset Benchmark Baru
  • Rilis Kode/Dataset
  • dll.
• Buat sumber daya yang ramah dan terbuka untuk membantu memandu para peneliti dan siapa pun yang tertarik untuk belajar tentang teknik modern yang diterapkan pada NLP
• Proyek kolaboratif di mana peneliti ahli dapat menyarankan perubahan (misalnya, menggabungkan hasil SOTA) berdasarkan temuan terbaru dan hasil eksperimen mereka

Daftar isi

• Perkenalan
• Representasi Terdistribusi
  • Kata embeddings
  • Word2vec
  • Embeddings karakter
  • Kata embeddings kata kontekstual
• Jaringan saraf konvolusional
  • CNN dasar
    • Pemodelan Kalimat
    • Pendekatan jendela
  • Aplikasi
• Jaringan saraf berulang
  • Perlu Jaringan Berulang
  • Model RNN
    • RNN sederhana
    • Memori jangka pendek yang panjang
    • Unit berulang yang terjaga keamanannya
  • Aplikasi
    • Rnn untuk klasifikasi tingkat kata
    • RNN untuk klasifikasi tingkat kalimat
    • Rnn untuk menghasilkan bahasa
  • Mekanisme perhatian
  • Perhatian Paralelisasi: Transformator
• Jaringan Saraf Rekursif
  • Model dasar
• Model yang diperkuat dalam dan pembelajaran tanpa pengawasan yang dalam
  • Pembelajaran Penguatan untuk Generasi Urutan
  • Pembelajaran representasi kalimat tanpa pengawasan
  • Model generatif yang dalam
• Jaringan Augmented Memori
• Kinerja model yang berbeda pada tugas NLP yang berbeda
  • POS Tagging
  • Penguraian
  • Pengakuan Namis-Entity
  • Pelabelan Peran Semantik
  • Klasifikasi sentimen
  • Terjemahan mesin
  • Pertanyaan menjawab
  • Sistem Dialog
  • Embeddings kontekstual

Bagaimana cara berkontribusi?

Ada berbagai cara untuk berkontribusi pada proyek ini.

• Cara tercepat untuk mengusulkan edit atau menambahkan teks adalah sebagai berikut: fork repo, telusuri ke chapter yang sesuai, lalu klik tombol edit untuk menambahkan info Anda. Gambar di bawah ini menunjukkan dua langkah terakhir setelah Anda membayar repo. Anda kemudian dapat mengirimkan permintaan tarik dan kami akan menyetujuinya. Jika Anda ingin mengubah sebagian besar proyek atau bahkan menambahkan bab, maka kami sarankan melihat bagian "Build site locally" di bawah ini.

• Anda juga dapat mengusulkan penambahan teks dalam dokumen bersama publik ini jika Anda tidak terbiasa dengan git . Kami akan membantu mengedit dan merevisi konten dan kemudian membantu Anda untuk memasukkan kontribusi ke proyek.
• Lihat bagian masalah untuk mempelajari lebih lanjut tentang cara lain yang dapat Anda bantu.
• Atau Anda dapat memberikan saran dengan mengirimkan masalah baru. Instruksi lebih rinci segera hadir.

Bangun situs secara lokal

Jika Anda berencana untuk mengubah beberapa aspek dari situs (misalnya, menambahkan bagian atau gaya) dan ingin mempratinjau secara lokal di mesin Anda, kami sarankan Anda untuk membangun dan menjalankan situs secara lokal menggunakan jekyll . Inilah instruksi:

• Pertama, periksa bahwa Ruby 2.1.0 atau lebih tinggi diinstal di komputer Anda. Anda dapat memeriksa menggunakan perintah ruby --version . Jika tidak, silakan instal menggunakan instruksi yang disediakan di sini.
• Setelah memastikan bahwa Ruby diinstal, instal Bundler menggunakan gem install bundler .
• Klon repo ini secara lokal: git clone https://github.com/omarsar/nlp_overview.git
• Arahkan ke folder repo dengan cd nlp_overview
• Instal Jekyll: bundle install
• Jalankan situs jekyll secara lokal: bundle exec jekyll serve
• Situs pratinjau di browser di http://localhost:4000

Pemeliharaan

Proyek ini dikelola oleh Elvis Saravia dan Soujanya Poria. Anda juga dapat menemukan saya di Twitter jika Anda memiliki komentar atau pertanyaan langsung. Bagian utama dari proyek ini telah secara langsung dipinjam dari karya Young et al. (2017). Kami berterima kasih kepada penulis.