BERT NER Pytorch

Китайский NER использует Bert

Берт для китайского Ner.

Обновление ： 其他一些可以参考, 包括 Biaffine 、 GlobalPointer 等: примеры

Список наборов данных

1. CNER: наборы данных/CNER
2. Cluener: https://github.com/cluebenchmark/cluener

Список моделей

1. Bert+Softmax
2. Берт+CRF
3. Bert+Span

требование

1. 1.1.0 = <pytorch <1.5.0
2. cuda = 9,0
3. Python3.6+

входной формат

Входной формат (предпочитает схему тега BIOS), с каждым символом его меткой для одной строки. Предложения разбиваются с нулевой линией.

美	B-LOC
国	I-LOC
的	O
华	B-PER
莱	I-PER
士	I-PER

我	O
跟	O
他	O

Запустите код

1. Измените информацию о конфигурации в run_ner_xxx.py или run_ner_xxx.sh .
2. sh scripts/run_ner_xxx.sh

Примечание . Структура файла модели

 ├── prev_trained_model
|  └── bert_base
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── vocab.txt
|  |  └── ......

Результат Cluener

Общая производительность Bert на разработке :

	Точность (сущность)	Напомним (сущность)	Оценка F1 (сущность)
Bert+Softmax	0,7897	0,8031	0,7963
Берт+CRF	0,7977	0,8177	0,8076
Bert+Span	0,8132	0,8092	0,8112
Bert+Span+Adv	0,8267	0,8073	0,8169
Bert-Small (6 слоев)+span+kd	0,8241	0,7839	0,8051
Bert+span+focal_loss	0,8121	0,8008	0,8064
Bert+span+label_smoothing	0,8235	0,7946	0,8088

Альберт для Cluener

Общая производительность Альберта на разработке :

модель	версия	Точность (сущность)	Напомним (сущность)	F1 (сущность)	Время поезда/эпоха
Альберт	base_google	0,8014	0,6908	0,7420	0,75x
Альберт	big_google	0,8024	0,7520	0,7763	2.1x
Альберт	xlarge_google	0,8286	0,7773	0,8021	6,7x
Берт	Google	0,8118	0,8031	0,8074	------
Альберт	base_bright	0,8068	0,7529	0,7789	0,75x
Альберт	BAGIN_BRIGHT	0,8152	0,7480	0,7802	2.2x
Альберт	xlarge_bright	0,8222	0,7692	0,7948	7,3X

Результат CNER

Общая производительность BERT на DEV (тест) :

	Точность (сущность)	Напомним (сущность)	Оценка F1 (сущность)
Bert+Softmax	0,9586 (0,9566)	0,9644 (0,9613)	0,9615 (0,9590)
Берт+CRF	0,9562 (0,9539)	0,9671 ( 0,9644 )	0,9616 (0,9591)
Bert+Span	0,9604 ( 0,9620 )	0,9617 (0,9632)	0,9611 ( 0,9626 )
Bert+span+focal_loss	0,9516 (0,9569)	0,9644 (0,9681)	0,9580 (0,9625)
Bert+span+label_smoothing	0,9566 (0,9568)	0,9624 (0,9656)	0,9595 (0,9612)