nlp tutorial

NLP-tutorial

nlp-tutorial เป็นบทช่วยสอนสำหรับผู้ที่กำลังศึกษา NLP (การประมวลผลภาษาธรรมชาติ) โดยใช้ pytorch โมเดลส่วนใหญ่ใน NLP ถูกนำไปใช้กับรหัสน้อยกว่า 100 บรรทัด (ยกเว้นความคิดเห็นหรือบรรทัดว่าง)

• [08-14-2020] รหัส Tensorflow V1 เก่าเก็บไว้ในโฟลเดอร์เก็บถาวร สำหรับความสามารถในการอ่านเริ่มต้นรองรับเฉพาะ Pytorch เวอร์ชัน 1.0 หรือสูงกว่าเท่านั้น

หลักสูตร - (วัตถุประสงค์ตัวอย่าง)

1. โมเดลการฝังพื้นฐาน

• 1-1. NNLM (โมเดลภาษาเครือข่ายประสาท) - ทำนายคำถัดไป
  • กระดาษ - รูปแบบภาษาที่น่าจะเป็นของระบบประสาท (2003)
  • colab - nnlm.ipynb
• 1-2. Word2vec (skip -gram) - ฝังคำและแสดงกราฟ
  • กระดาษ - การแจกจ่ายคำและวลีและองค์ประกอบของพวกเขา (2013)
  • colab - word2vec.ipynb
• 1-3. FastText (ระดับแอปพลิเคชัน) - การจำแนกประโยค
  • กระดาษ - กระเป๋าของการจำแนกข้อความที่มีประสิทธิภาพ (2016)
  • colab - fasttext.ipynb

2. CNN (เครือข่ายประสาท Convolutional)

• 2-1. Textcnn - การจำแนกความเชื่อมั่นแบบไบนารี
  • กระดาษ - เครือข่ายประสาทเทียมสำหรับการจำแนกประโยค (2014)
  • textcnn.ipynb

3. RNN (เครือข่ายประสาทกำเริบ)

• 3-1. textrnn - ทำนายขั้นตอนต่อไป
  • กระดาษ - การค้นหาโครงสร้างในเวลา (1990)
  • colab - textrnn.ipynb
• 3-2. TextLstm - การเติมข้อความอัตโนมัติ
  • กระดาษ - หน่วยความจำระยะสั้นระยะยาว (1997)
  • colab - textlst.ipynb
• 3-3. bi -lstm - ทำนายคำถัดไปในประโยคยาว
  • colab - bi_lstm.ipynb

4. กลไกความสนใจ

• 4-1. SEQ2SEQ - เปลี่ยนคำ
  • กระดาษ - การเป็นตัวแทนวลีการเรียนรู้โดยใช้ RNN encoder - decoder สำหรับการแปลเครื่องสถิติ (2014)
  • colab - seq2seq.ipynb
• 4-2. seq2seq พร้อมความสนใจ - แปล
  • กระดาษ - การแปลเครื่องประสาทโดยร่วมกันเรียนรู้ที่จะจัดตำแหน่งและแปล (2014)
  • colab - seq2seq (ความสนใจ) .ipynb
• 4-3. bi -lstm ด้วยความสนใจ - การจำแนกความเชื่อมั่นแบบไบนารี
  • colab - bi_lstm (ความสนใจ) .ipynb

5. โมเดลตามหม้อแปลง

• 5-1. หม้อแปลง - แปล
  • กระดาษ - ความสนใจคือสิ่งที่คุณต้องการ (2017)
  • colab - transformer.ipynb, transformer (greedy_decoder) .ipynb
• 5-2. เบิร์ต - การจำแนกประโยคถัดไปและทำนายโทเค็นหน้ากาก
  • Paper - Bert: การฝึกอบรมก่อนหน้านี้ของหม้อแปลงสองทิศทางเพื่อทำความเข้าใจภาษา (2018)
  • colab - bert.ipynb

การพึ่งพาอาศัยกัน

• Python 3.5+
• Pytorch 1.0.0+

ผู้เขียน

• Tae Hwan Jung (Jeff Jung) @GrayKode
• อีเมลผู้แต่ง: [email protected]
• กิตติกรรมประกาศให้โมจิติกเป็น NLP Research Internship