Word Prediction Ngram

คำทำนายคำศัพท์

การทำนายคำถัดไปโดยใช้แบบจำลองความน่าจะเป็น N-Gram

สมุดบันทึก Jupyter ต่างๆใช้แบบจำลองภาษาที่แตกต่างกันสำหรับการทำนายคำต่อไป

ป้อนข้อมูล :

ผู้ใช้เข้าสู่ประโยคข้อความ

เอาท์พุท:

ทำนายคำที่สามารถติดตามประโยคอินพุต

มีการใช้เทคนิคการปรับให้เรียบต่างๆในรูปแบบภาษาที่แตกต่างกันพร้อมกับการรวมกันของการแก้ไขและ backoff ในรูปแบบภาษาที่แตกต่างกันเหล่านี้

เทคนิคการปรับให้เรียบ:

  1. Add 1 
  2. Good Turing 
  3. Simple Knesser Ney
  4. Interpolated Knesser Ney

รหัสทำงานอย่างไร:

1. การทำความสะอาดคลังการฝึกอบรม (การลบเครื่องหมายวรรคตอน ฯลฯ )
2. การสร้างรูปแบบภาษา:
   i) การก่อตัวของ N-grams (Unigram, Bigram, Trigram, Quadgram)
   ii) การสร้างพจนานุกรมความน่าจะเป็นด้วยการจัดหากลไกการปรับให้เรียบต่างๆ