Sentence Completion using Hidden Markov Models

การใช้ประโยคที่ซ่อน-มาร์คอฟ-โมเดล

เป้าหมายของสคริปต์นี้คือการใช้โมเดล Langauge สามแบบเพื่อดำเนินการประโยคให้สมบูรณ์เช่นได้รับประโยคที่มีคำที่ขาดหายไปเพื่อเลือกแบบที่ถูกต้องจากรายการคำผู้สมัคร วิธีการใช้แบบจำลองภาษาสำหรับปัญหานี้คือการพิจารณาคำผู้สมัครที่เป็นไปได้สำหรับประโยคในแต่ละครั้งแล้วถามรูปแบบภาษาว่าประโยคเวอร์ชันใดเป็นคำที่น่าจะเป็นไปได้มากที่สุด

ประโยคที่จะทำให้เสร็จพร้อมกับคำของผู้สมัครอยู่ในไฟล์นี้: questions.txt คำที่จะเสร็จสมบูรณ์จะแสดงด้วย ' ' ในขณะที่คำสองคำของผู้สมัครอยู่ที่จุดสิ้นสุดของบรรทัด (เช่นสภาพอากาศ/ไม่ว่าจะ) ตัวละคร ':' ระหว่างประโยคและผู้สมัครไม่ได้เป็นส่วนหนึ่งของเซนต์ ในการใช้แบบจำลองภาษาบนประโยคสำหรับคำผู้สมัครที่กำหนดสคริปต์จะแทนที่ ' ' ด้วยคำของผู้สมัคร

ข้อความในการฝึกอบรมโมเดลภาษาของคุณอยู่ในไฟล์นี้: News-Corpus-500k.txt (70MB) ซึ่งเป็นชุดย่อยขนาดเล็กของมาตรฐาน 1 พันล้านคำ

เรียกใช้สคริปต์

ในการเรียกใช้การใช้สคริปต์: Python3 Lm.py news-corpus-500k.txt questions.txt

หากคุณต้องการฝึกอบรมโมเดลของคุณในคลังข้อมูลอื่น ๆ ที่มีข่าว-Corpus-500K เพียงแทนที่อาร์กิวเมนต์ที่ 2 ด้วยเส้นทางไปยังคลังข้อมูลของคุณเองคุณต้องการทดสอบโมเดลของคุณในชุดประโยคที่แตกต่างกันเพียงแค่แทนที่ Arugment ที่ 3 ด้วยเส้นทางไปยังประโยคของคุณ โปรดทราบว่าจะใช้รูปแบบเดียวกันสำหรับประโยคที่กำหนดเองซึ่งคุณต้องการทดสอบโมเดลของคุณ