Chinese_models_for_SpaCy

readme เขียนเป็นภาษาอังกฤษ

รูปแบบของ Spacy อย่างเป็นทางการของจีนได้เปิดตัว (https://spacy.io/models/zh) ภารกิจของโครงการนี้เพื่อ "ส่งเสริมการพัฒนารูปแบบของ Spacy Chinese" เสร็จสิ้นแล้ว โครงการนี้จะเข้าสู่สถานะการบำรุงรักษา การอัปเดตที่ตามมาจะเป็นการแก้ไขข้อบกพร่องเท่านั้น ขอบคุณผู้ใช้ทุกคนที่ให้ความสนใจและสนับสนุนระยะยาว

รุ่นจีน

รูปแบบข้อมูลภาษาจีนที่จัดทำขึ้นสำหรับ Spacy ขณะนี้รูปแบบอยู่ในการทดสอบสาธารณะเบต้า

การสาธิตออนไลน์

การสาธิตออนไลน์ตามสมุดบันทึก Jupyter

ลักษณะ

ข้อมูลแอตทริบิวต์บางส่วนของ Doc Object王小明在北京的清华大学读书:

ner ( ใหม่! )

ข้อมูลบางอย่างเกี่ยวกับการศึกษา Doc ของ Wang Xiaoming王小明在北京的清华大学读书:

เริ่มต้นใช้งาน

โมเดลมีการกระจายในรูปแบบของไฟล์ไบนารีและผู้ใช้ควรมีความรู้พื้นฐานเกี่ยวกับ Spacy (เวอร์ชัน> 2)

ข้อกำหนดของระบบ

Python 3 (อาจสนับสนุน Python2 แต่ไม่ได้ทดสอบอย่างดี)

ติดตั้ง

ดาวน์โหลดรุ่น

ดาวน์โหลดโมเดลจากหน้ารีลีส ( ใหม่! ให้ผู้ใช้ในประเทศจีนพร้อมลิงก์เพื่อเร่งการดาวน์โหลด) สมมติว่ารุ่นที่ดาวน์โหลดมีชื่อว่า zh_core_web_sm-2.xxtar.gz

ติดตั้งรุ่น

 pip install zh_core_web_sm-2.x.x.tar.gz

เพื่ออำนวยความสะดวกในการใช้งานในเฟรมเวิร์กเช่น Rasa NLU จำเป็นต้องสร้างลิงก์สำหรับรุ่นนี้โดยดำเนินการคำสั่งต่อไปนี้:

spacy link zh_core_web_sm zh

หลังจากการวิ่งเสร็จสมบูรณ์คุณสามารถใช้นามแฝง ZH เพื่อเข้าถึงโมเดล

เรียกใช้รหัสสาธิต

รหัสตัวอย่างอยู่ใน test.py หลังจากติดตั้งโมเดลแล้วผู้ใช้จะดาวน์โหลดหรือโคลนรหัสในที่เก็บนี้และสามารถดำเนินการได้โดยตรง

python3 ./test.py

เปิดที่อยู่ http://127.0.0.1:5000 แล้วคุณจะเห็นสิ่งต่อไปนี้:

วิธีสร้างโมเดลนี้จากศูนย์

ดูเวิร์กโฟลว์

คอร์ปัส

คลังข้อมูลที่ใช้ในโครงการนี้คือ Ontonotes 5.0

เนื่องจาก Ontonotes 5.0 เป็นวัสดุที่มีลิขสิทธิ์ของ LDC (Consortium ข้อมูลภาษาศาสตร์) จึงไม่สามารถรวมอยู่ในโครงการนี้ได้โดยตรง ข่าวดีก็คือ Ontonotes 5.0 นั้นฟรีสำหรับผู้ใช้ในกลุ่มรวมถึงธุรกิจและองค์กรวิชาการ ผู้ใช้สามารถสร้างบัญชีองค์กรหรือองค์กรการศึกษาจากนั้นรับ Ontonotes 5.0 ได้ฟรี

รายการสิ่งที่ต้องทำ

• แอตทริบิวต์ pos_ ไม่ถูกต้อง สิ่งนี้เกี่ยวข้องกับชั้นเรียนภาษาจีนใน Spacy
• แอตทริบิวต์ shape_ และ is_alpha ดูเหมือนจะไม่มีความหมายกับภาษาจีน แต่ต้องการข้อมูลที่เชื่อถือได้เพื่อยืนยัน
• แอตทริบิวต์ is_stop ไม่ถูกต้อง สิ่งนี้เกี่ยวข้องกับชั้นเรียนภาษาจีนใน Spacy
• vector แอตทริบิวต์ดูเหมือนจะไม่ได้รับการฝึกฝนมาอย่างดี
• คุณสมบัติ is_oov ผิดอย่างสมบูรณ์ การแก้ไขลำดับความสำคัญครั้งแรก
• โมเดล NER ซึ่งไม่สามารถใช้งานได้ในปัจจุบันเนื่องจากขาด LDC Corpus การแก้ไขอยู่ระหว่างการฝึกอบรม
• ปล่อยผลลัพธ์ระดับกลางที่ใช้ในการฝึกอบรมเพื่ออำนวยความสะดวกให้ผู้ใช้ปรับแต่งโมเดล

ส่วนประกอบที่ใช้

• สิ่งที่ต้องทำ

วิธีการมีส่วนร่วม

โปรดอ่าน Inteding.md และส่งคำขอดึงให้เรา

การควบคุมเวอร์ชัน

เราใช้ Semver สำหรับมาตรฐานการกำหนดเวอร์ชัน ตรวจสอบ tags เพื่อทำความเข้าใจทุกรุ่น

ผู้เขียน

• Xiaoquan Kong - งานเริ่มต้น - Howl -Anderson

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับผู้มีส่วนร่วมโปรดดูที่ contributors

ลิขสิทธิ์

ใบอนุญาต MIT - ดูใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• สิ่งที่ต้องทำ