หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

ngrammodeltrainer

เรียนรู้รูปแบบภาษา N-Gram ที่ได้รับคลังข้อมูล คลังข้อมูลควรเป็นไฟล์ข้อความโดยมีคำเดียวต่อบรรทัดไม่มีช่องว่างระหว่างคำ

ปริมาณที่เรียนรู้คือ:

  • ความน่าจะเป็นของ unigrams, p (g i )
  • ความน่าจะเป็นของ Bigrams, P (G I | G I-1 )
  • ความน่าจะเป็นของ trigrams, p (g i | g i-1 , g i-2 )

การทดสอบและดำเนินการ

ทดสอบสคริปต์โดยใช้งานโดยไม่มีการโต้แย้ง: 

 python3 ngramModelTrainer

ใช้ธง -H สำหรับรายละเอียดเกี่ยวกับวิธีการใช้เครื่องมือที่มีอินพุตที่เหมาะสม: 

 python3 ngramModelTrainer -h

มีตัวอย่างอินพุตสองสามอย่างใน fixtures/

เอาต์พุตจะถูกบันทึกเป็นเมทริกซ์ MATLAB สี่ตัว

  • Unigrams: U (i) หมายถึง P (i)
  • Bigrams: B (I, J) ย่อมาจาก P (J | i)
  • Trigrams: T (I, J, K) ย่อมาจาก P (K | J, I)
  • Quadgrams (tetragrams): Q (I, J, K, L) ย่อมาจาก P (L | K, J, I)

ตัวอักษร

ต้องกำหนดตัวอักษรของ unigrams ที่ยอมรับได้เฉพาะ โดยค่าเริ่มต้นเรากำลังใช้ตัวอักษร 36 ตัวอักษร/ตัวเลขที่เป็นไปได้ สิ่งเหล่านี้จัดขึ้นในรายการ Python ที่เรียกว่า 'ตัวอักษร' ตามลำดับต่อไปนี้:

  • ตำแหน่ง 0-25: ตัวอักษรตัวอักษรตัวพิมพ์ เล็ก ละตินตามลำดับตัวอักษรมาตรฐาน
  • ตำแหน่ง 26-35: ตัวเลข 0-9

ตัวอักษร 'ทางเลือก'

อาจใช้ตัวอักษรที่ไม่ใช่มาตรฐาน 'ของตัวอักษรข้างต้น สิ่งเหล่านี้รวมถึง: Dutta_extended : อักขระพิเศษจำนวนหนึ่ง (สิ่งเหล่านี้เป็นการเข้ารหัสของตัวละครและเครื่องหมายวรรคตอนที่พบในชุดเอกสารที่เขียนด้วยลายมือ George Washington) โซเฟีย : ตัวละครกรีก polytonic Dummy : ชุดทดสอบ จำกัด 3 อักขระ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด