Cross Domain_NER

Cross-domain_ner

ข้ามโดเมนโดยใช้การสร้างแบบจำลองภาษาข้ามโดเมนรหัสสำหรับกระดาษ ACL 2019

การแนะนำ

ner เป็นงานพื้นฐานใน NLP เนื่องจากข้อ จำกัด ของทรัพยากรที่มีป้ายกำกับ Cross-Domain Ner จึงเป็นงานที่ท้าทาย งานก่อนหน้านี้ส่วนใหญ่มุ่งเน้นไปที่สถานการณ์ภายใต้การดูแลใช้ประโยชน์จากข้อมูลที่ติดฉลากสำหรับโดเมนทั้งแหล่งที่มาและเป้าหมาย ข้อเสียของการตั้งค่าดังกล่าวคือพวกเขาไม่สามารถฝึกอบรมสำหรับโดเมนที่ไม่มีข้อมูลที่มีป้ายกำกับ

เราแก้ไขปัญหานี้โดยใช้ Cross-Domain LM เป็นสะพานข้ามโดเมนสำหรับการปรับโดเมน NER การถ่ายโอนข้ามงานและการถ่ายโอนข้ามโดเมนโดยการออกแบบ เครือข่ายการสร้างพารามิเตอร์ ใหม่

การทดลองเกี่ยวกับ ชุดข้อมูลข่าว CBS Scitech แสดงให้เห็นว่าแบบจำลองของเราสามารถอนุญาตให้ปรับตัวโดเมนที่ไม่ได้รับการดูแลได้อย่างมีประสิทธิภาพในขณะที่ยังสามารถรับการปรับตัวของโดเมนภายใต้การดูแลระหว่างโดเมนที่มีประเภทเอนทิตีที่แตกต่างกันอย่างสิ้นเชิง (เช่นข่าวเทียบกับชีวการแพทย์)

พื้นฐานที่ไร้เดียงสาของโมเดลงานเดียว ( STM ในกระดาษ) ส่วนใหญ่เป็นไปตาม NCRF ++

สำหรับรายละเอียดเพิ่มเติมโปรดดูเอกสารของเรา:

ข้ามโดเมนโดยใช้การสร้างแบบจำลองภาษาข้ามโดเมน
Chen Jia, Xiaobo Liang และ Yue Zhang*
(* ผู้เขียนที่เกี่ยวข้อง)
ACL 2019

ความต้องการ

 Python 2 or 3 
PyTorch 0.3

หน่วยความจำของ GPU หนึ่งตัวไม่ควรน้อยกว่า 8GB เพื่อให้พอดีกับรุ่น

ฝังตัว

ถุงมือ 100 มิติคำเวกเตอร์ (อ้างอิงจาก ที่นี่ )

ชุดข้อมูล

แหล่งที่มาของโดเมน:

Conll-2003 ข้อมูลภาษาอังกฤษ

โดเมนเป้าหมาย

• unsupervised: CBS Scitech News (ชุดทดสอบ) (ใน: ` unsupervised_domain_adaptation data news_tech tech_test)
  
• ภายใต้การดูแล: ชุดข้อมูล BIONLP13PC และชุดข้อมูล BIONLP13CG

ข้อมูลดิบ LM

RETURE DOMAIN RAW DATA จะถูกปล่อยออกมาพร้อมกับชุดข้อมูล CONLL-2003
Scitech News Domain Data Raw Data
การดาวน์โหลดข้อมูลดิบของสำนักข่าวรอยเตอร์

การใช้งาน

สั่งการ

supervised_domain_adaptation , unsupervised_domain_adaptation และ combined_SDA_and_UDA สามารถใช้คำสั่งต่อไปนี้เพื่อให้ทำงานได้

 python main.py --config train.NER.config

ไฟล์ train.NER.config มีพา ธ ชุดข้อมูลและโมเดล hyperparameters ตาม NCRF ++

รูปแบบอินพุต

• เราขอแนะนำให้ใช้รูปแบบฉลาก iBoes สำหรับชุดข้อมูล NER
• เราขอแนะนำให้ใช้รูปแบบอินพุตของหนึ่งเซ็นต์ต่อบรรทัดสำหรับข้อมูลดิบที่มีการแบ่งส่วนคำ

อ้างอิง:

หากคุณใช้ข้อมูลหรือรหัสของเราโปรดอ้างอิงบทความของเราดังนี้:

 @inproceedings{jia2019cross,
  title={Cross-domain ner using cross-domain language modeling},
  author={Jia, Chen and Liang, Xiaobo and Zhang, Yue},
  booktitle={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
  pages={2464--2474},
  year={2019}
  organization={Association for Computational Linguistics}
}

อัปเดต

• v2. การรวมสถานการณ์ภายใต้การดูแลและสถานการณ์ที่ไม่ได้รับการดูแลใน combined_SDA_and_UDA
• v1. สถานการณ์ภายใต้การดูแลก่อนหน้านี้ใน supervised_domain_adaptation ;
  สถานการณ์ที่ไม่ได้รับการดูแลก่อนหน้านี้ใน unsupervised_domain_adaptation ;