หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

จีนใช้เบิร์ต

เบิร์ตสำหรับชาวจีน

อัปเดต ： 其他一些可以参考, 包括 biaffine、 globalpointer 等: ตัวอย่าง

รายการชุดข้อมูล

  1. CNER: ชุดข้อมูล/cner
  2. cluener: https://github.com/cluebenchmark/cluener

รายชื่อรุ่น

  1. bert+softmax
  2. bert+crf
  3. Bert+Span

ความต้องการ

  1. 1.1.0 = <pytorch <1.5.0
  2. cuda = 9.0
  3. Python3.6+

รูปแบบอินพุต

รูปแบบอินพุต (ชอบรูปแบบแท็ก BIOS) โดยแต่ละอักขระจะมีฉลากสำหรับหนึ่งบรรทัด ประโยคถูกแยกออกเป็นเส้นว่าง 

美	B-LOC
国	I-LOC
的	O
华	B-PER
莱	I-PER
士	I-PER

我	O
跟	O
他	O

เรียกใช้รหัส

  1. แก้ไขข้อมูลการกำหนดค่าใน run_ner_xxx.py หรือ run_ner_xxx.sh
  2. sh scripts/run_ner_xxx.sh

หมายเหตุ : โครงสร้างไฟล์ของโมเดล 

 ├── prev_trained_model
|  └── bert_base
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── vocab.txt
|  |  └── ......

ผล cluener

ประสิทธิภาพโดยรวมของ Bert บน Dev :

ความแม่นยำ (เอนทิตี) เรียกคืน (เอนทิตี) คะแนน F1 (เอนทิตี)
bert+softmax 0.7897 0.8031 0.7963
bert+crf 0.7977 0.8177 0.8076
Bert+Span 0.8132 0.8092 0.8112
bert+span+adv 0.8267 0.8073 0.8169
bert-small (6 layers)+span+kd 0.8241 0.7839 0.8051
bert+span+focal_loss 0.8121 0.8008 0.8064
bert+span+label_smoothing 0.8235 0.7946 0.8088

อัลเบิร์ตสำหรับ Cluener

ประสิทธิภาพโดยรวมของอัลเบิร์ตใน Dev :

แบบอย่าง รุ่น ความแม่นยำ (เอนทิตี) เรียกคืน (เอนทิตี) F1 (เอนทิตี) เวลารถไฟ/ยุค
อัลเบิร์ต base_google 0.8014 0.6908 0.7420 0.75x
อัลเบิร์ต large_google 0.8024 0.7520 0.7763 2.1x
อัลเบิร์ต xlarge_google 0.8286 0.7773 0.8021 6.7x
เบิร์ต Google 0.8118 0.8031 0.8074 -
อัลเบิร์ต base_bright 0.8068 0.7529 0.7789 0.75x
อัลเบิร์ต large_bright 0.8152 0.7480 0.7802 2.2x
อัลเบิร์ต xlarge_bright 0.8222 0.7692 0.7948 7.3x

ผล cner

ประสิทธิภาพโดยรวมของ Bert on dev (ทดสอบ) :

ความแม่นยำ (เอนทิตี) เรียกคืน (เอนทิตี) คะแนน F1 (เอนทิตี)
bert+softmax 0.9586 (0.9566) 0.9644 (0.9613) 0.9615 (0.9590)
bert+crf 0.9562 (0.9539) 0.9671 ( 0.9644 ) 0.9616 (0.9591)
Bert+Span 0.9604 ( 0.9620 ) 0.9617 (0.9632) 0.9611 ( 0.9626 )
bert+span+focal_loss 0.9516 (0.9569) 0.9644 (0.9681) 0.9580 (0.9625)
bert+span+label_smoothing 0.9566 (0.9568) 0.9624 (0.9656) 0.9595 (0.9612)
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด