LD Net

LD-NET

ตรวจสอบชุดเครื่องมือใหม่ของเรา

• การอนุมาน :
  • Lightner : การอนุมาน w. รุ่นที่ผ่านการฝึกอบรมมาก่อน / ฝึกอบรม w. เครื่องมือ ใด ๆ ต่อไปนี้ มีประสิทธิภาพ
• การฝึกอบรม :
  • LD-NET : รถไฟรุ่น ner w. การเป็นตัวแทนบริบทที่มีประสิทธิภาพ
  • Vanillaner : รถไฟรุ่นวานิลลา ner w. การฝังที่ผ่านการฝึกอบรมมาก่อน
• การฝึกอบรมระยะไกล :
  • Autoner : Train Ner Models WO คำอธิบายประกอบแบบบรรทัดต่อบรรทัดและรับประสิทธิภาพการแข่งขัน

---

LD-NET ให้แบบจำลองการติดฉลากลำดับที่มี:

• ประสิทธิภาพ : การสร้าง การเป็นตัวแทนบริบทที่มีประสิทธิภาพ โดยไม่ต้องฝึกอบรมแบบจำลองภาษาใหม่
• ความสามารถในการพกพา : จัดระเบียบได้ดี ง่ายต่อการปรับเปลี่ยน และ มีการบันทึกไว้อย่างดี

รูปแบบ NER ที่ผ่านการฝึกอบรมมาก่อนของเราประสบความสำเร็จ:

• 92.08 ทดสอบ F1 ในงาน Conll03 ner
• ความเร็ว 160K คำ/วินาที การถอดรหัส ( 6x เร่งความเร็วเมื่อเทียบกับรุ่นดั้งเดิม)

รายละเอียดเกี่ยวกับ LD-NET สามารถเข้าถึงได้ที่: https://arxiv.org/abs/1804.07827

• หมายเหตุโมเดล
• เกณฑ์มาตรฐาน
• แบบจำลอง
  • รูปแบบภาษา
  • การจดจำเอนทิตีชื่อ
  • การตี
• การฝึกอบรม
  • การพึ่งพาอาศัยกัน
  • ข้อมูล
  • แบบอย่าง
  • สั่งการ
• การอนุมาน
• การอ้างอิง

หมายเหตุโมเดล

เกณฑ์มาตรฐาน

แบบจำลองสำหรับ conll03	#flops	ค่าเฉลี่ย (F1)	std (F1)
วานิลลา ner wo lm	3 ม.	90.78	0.24
LD-NET (WO การตัดแต่ง)	51 ม.	91.86	0.15
LD-NET (Origin, เลือกตาม Dev F1)	51 ม.	91.95
LD-NET (ตัดแต่ง)	5 ม.	91.84	0.14

รุ่นสำหรับ conll00	#flops	ค่าเฉลี่ย (F1)	std (F1)
วานิลลา np wo lm	3 ม.	94.42	0.08
LD-NET (WO การตัดแต่ง)	51 ม.	96.01	0.07
LD-NET (Origin, เลือกตาม Dev F1)	51 ม.	96.13
LD-NET (ตัดแต่ง)	10 ม.	95.66	0.04

นางแบบที่ได้รับการฝึกฝน

ที่นี่เรามีทั้งแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อนและแบบจำลองการติดฉลากลำดับก่อนที่ได้รับการฝึกฝนมาก่อน

รูปแบบภาษา

แบบจำลองภาษาที่ผ่านการฝึกฝนของเรามีการฝังคำ, LSTM ที่เชื่อมต่อกันอย่างหนาแน่น 10 ชั้นและ Softmax ที่มีความหนาแน่นและได้รับ ppl เฉลี่ย 50.06 ในชุดข้อมูลเกณฑ์มาตรฐานหนึ่งพันล้าน

รูปแบบภาษาส่งต่อ	รูปแบบภาษาย้อนหลัง
ลิงค์ดาวน์โหลด	ลิงค์ดาวน์โหลด

การจดจำเอนทิตีชื่อ

เอนทิตี้ที่ได้รับการฝึกอบรมก่อนหน้านี้ได้รับการฝึกฝนมาก่อน 91.95 F1 ซึ่งเป็นแท็กที่ถูกแท็กได้รับ 92.08 F1

Tagger ดั้งเดิม	Tagger ที่ตัดแต่ง
ลิงค์ดาวน์โหลด	ลิงค์ดาวน์โหลด

การตี

Tagger ที่ได้รับการฝึกฝนมาก่อนที่ได้รับการฝึกฝนมาก่อนได้รับ 96.13 F1, แท็กที่ถูกแท็กตัดแต่งสำเร็จ 95.79 F1

Tagger ดั้งเดิม	Tagger ที่ตัดแต่ง
ลิงค์ดาวน์โหลด	ลิงค์ดาวน์โหลด

การฝึกอบรม

สคริปต์สาธิต

ในการตัดแต่ง LD-NET ดั้งเดิมสำหรับ conll03 ner โปรดเรียกใช้:

 bash ldnet_ner_prune.sh

ในการตัดแต่ง LD-NET ดั้งเดิมสำหรับ conll00 chunking โปรดเรียกใช้:

 bash ldnet_np_prune.sh

การพึ่งพาอาศัยกัน

แพ็คเกจของเราขึ้นอยู่กับ Python 3.6 และแพ็คเกจต่อไปนี้:

 numpy
tqdm
torch-scope
torch==0.4.1

ข้อมูล

สคริปต์ก่อนกระบวนการมีอยู่ใน pre_seq และ pre_word_ada ในขณะที่ข้อมูลที่ประมวลผลล่วงหน้าได้ถูกเก็บไว้ใน:

คนโง่	การตี
ลิงค์ดาวน์โหลด	ลิงค์ดาวน์โหลด

แบบอย่าง

การใช้งานของเรามีอยู่ใน model_seq และ model_word_ada และเอกสารประกอบเป็นโฮสต์ใน readthedoc

คนโง่	การตี
ลิงค์ดาวน์โหลด	ลิงค์ดาวน์โหลด

การอนุมาน

สำหรับการอนุมานแบบจำลองโปรดตรวจสอบแพ็คเกจ Lightner ของเรา

การอ้างอิง

หากคุณพบว่าการใช้งานมีประโยชน์โปรดอ้างอิงบทความต่อไปนี้: การเป็นตัวแทนบริบทที่มีประสิทธิภาพ: การตัดแต่งแบบจำลองภาษาสำหรับการติดฉลากลำดับ

 @inproceedings{liu2018efficient,
  title = "{Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling}", 
  author = {Liu, Liyuan and Ren, Xiang and Shang, Jingbo and Peng, Jian and Han, Jiawei}, 
  booktitle = {EMNLP}, 
  year = 2018, 
}