ner bert

0。论文

基于此架构有两种解决方案。

1. BSNLP 2019 ACL研讨会：有关多语言共享任务的解决方案和论文。
2. 对话AGRR-2019任务和纸的第二名解决方案。

描述

该存储库包含基于BERT模型的Google的Tensorflow存储库的Pytorch重新实现NER任务的解决方案，该存储库与Paper Bert一起发布：深层双向变形金刚的预培训，以雅各布·德夫林（Jacob Devlin）的语言理解，Ming-Wei Chang，Ming-Wei Chang，Kenton Lee和Kristina Toutanova。

该实现可以为BERT加载任何预训练的TensorFlow检查点（特别是Google的预训练模型）。

旧版本在“旧”分支中。

2。用法

2.1创建数据

 from modules.data import bert_data
data = bert_data.LearnData.create(
    train_df_path=train_df_path,
    valid_df_path=valid_df_path,
    idx2labels_path="/path/to/vocab",
    clear_cache=True
)

2.2创建模型

 from modules.models.bert_models import BERTBiLSTMAttnCRF
model = BERTBiLSTMAttnCRF.create(len(data.train_ds.idx2label))

2.3创建学习者

 from modules.train.train import NerLearner
num_epochs = 100
learner = NerLearner(
    model, data, "/path/for/save/best/model", t_total=num_epochs * len(data.train_dl))

2.4预测

 from modules.data.bert_data import get_data_loader_for_predict
learner.load_model()
dl = get_data_loader_for_predict(data, df_path="/path/to/df/for/predict")
preds = learner.predict(dl)

2.5评估

 from sklearn_crfsuite.metrics import flat_classification_report
from modules.analyze_utils.utils import bert_labels2tokens, voting_choicer
from modules.analyze_utils.plot_metrics import get_bert_span_report
from modules.analyze_utils.main_metrics import precision_recall_f1


pred_tokens, pred_labels = bert_labels2tokens(dl, preds)
true_tokens, true_labels = bert_labels2tokens(dl, [x.bert_labels for x in dl.dataset])
tokens_report = flat_classification_report(true_labels, pred_labels, digits=4)
print(tokens_report)

results = precision_recall_f1(true_labels, pred_labels)

3。结果

我们没有搜索最佳参数，也没有获得以下结果。

模型	数据集	开发F1 Tok	开发F1跨度	测试F1 Tok	测试F1跨度
我们的
m-bertcrf-io	FACTRUEVAL	-	-	0.8543	0.8409
m-bertncrf-io	FACTRUEVAL	-	-	0.8637	0.8516
m-bertbilstmcrf-io	FACTRUEVAL	-	-	0.8835	0.8718
m-bertbilstmncrf-io	FACTRUEVAL	-	-	0.8632	0.8510
m-bertattncrf-io	FACTRUEVAL	-	-	0.8503	0.8346
m-bertbilstmattncrf-io	FACTRUEVAL	-	-	0.8839	0.8716
m-bertbilstmattnnncrf-io	FACTRUEVAL	-	-	0.8807	0.8680
m-bertbilstmattncrf-fit_bert-io	FACTRUEVAL	-	-	0.8823	0.8709
m-bertbilstmattnnncrf-fit_bert-io	FACTRUEVAL	-	-	0.8583	0.8456
-	-	-	-	-	-
Bertbilstmcrf-io	Conll-2003	0.9629	-	0.9221	-
b-bertbilstmcrf-io	Conll-2003	0.9635	-	0.9229	-
b-bertbilstmattncrf-io	Conll-2003	0.9614	-	0.9237	-
b-bertbilstmattnnncrf-io	Conll-2003	0.9631	-	0.9249	-
当前的sota
Deeppavlov-Rubert-ner	FACTRUEVAL	-	-	-	0.8266
CSE	Conll-2003	-	-	0.931	-
Bert-large	Conll-2003	0.966	-	0.928	-
伯特基	Conll-2003	0.964	-	0.924	-