หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

การแบ่งส่วนคำภาษาจีน

การแบ่งส่วนคำภาษาจีนที่ทันสมัยกับ BI-LSTMS (Ji Ma, Kuzman Ganchev และ David Weiss, EMNLP 2018)-(https://aclweb.org/anthology/d18-1529)

ความเข้ากันได้

Python3.6.x, tensorflow 1.12.0

หมายเหตุ

ในโครงการนี้มีการใช้ชุดข้อมูลภาษาจีนสี่ชุด (AS, CityU, MSR และ PKU) เพื่อฝึกอบรมรูปแบบการเรียนรู้อย่างลึกซึ้งสำหรับงานการแบ่งส่วนคำภาษาจีน ชุดข้อมูลเหล่านี้สามารถรับได้จาก: http://sighan.cs.uchicago.edu/bakeoff2005/

สำหรับการฝึกอบรม 

Run: python3 train.py

input_file_path เป็นเส้นทางที่มีลำดับภาษาจีนไม่มีพื้นที่

label_file_path เป็นเส้นทางที่มีฉลากลำดับจีนในรูปแบบ BIES

สำหรับการประมวลผลล่วงหน้า 

Run: python3 preprocess.py original_file_path input_file_path output_file_path

Original_file_path เป็นไฟล์ที่มีลำดับภาษาจีน

input_file_path เป็นเส้นทางที่จะบันทึกลำดับภาษาจีนที่ไม่มีพื้นที่

label_file_path เป็นเส้นทางที่จะบันทึกฉลากลำดับภาษาจีนในรูปแบบ BIES

สำหรับการทำนาย 

Run: python3 predict.py input_path output_path resources_path

input_path เป็นไฟล์ที่มีลำดับภาษาจีนไม่มีพื้นที่

Output_Path เป็นเส้นทางที่จะบันทึกการคาดการณ์ในรูปแบบ BIES

Resources_Path เป็นเส้นทางไปสู่โมเดลที่บันทึกไว้

โมเดลและความพิเศษที่บันทึกไว้สามารถดาวน์โหลดได้จาก http://bit.ly/2pkgzbg และวางไว้ในโฟลเดอร์ทรัพยากร

สำหรับการให้คะแนน 

Run: python3 score.py predicition_file gold_file

Prediction_file เป็นไฟล์ที่มีการคาดการณ์ในรูปแบบ BIES จากขั้นตอนก่อนหน้า

Gold_File เป็นเส้นทางไปยังไฟล์ทองในรูปแบบ BIES

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด