ner bert

0. Documentos

Existem duas soluções baseadas nessa arquitetura.

1. BSNLP 2019 Workshop da ACL: Solução e papel sobre tarefa compartilhada multilíngue.
2. A solução do segundo lugar do diálogo AGRR-2019 Tarefa e papel.

Descrição

Esse repositório contém solução de tarefa NER com base na reimplementação de Pytorch do repositório de tensorflow do Google para o modelo Bert que foi lançado junto com o artigo Bert: pré-treinamento de transformadores bidirecionais profundos para o entendimento da linguagem de Jacob Devlin, Ming-Wei Chang, Kenton Lee e Kristina Toutanova.

Essa implementação pode carregar qualquer ponto de verificação do TensorFlow pré-treinado para o BERT (em particular os modelos pré-treinados do Google).

A versão antiga está na filial "antiga".

2. Uso

2.1 Crie dados

 from modules.data import bert_data
data = bert_data.LearnData.create(
    train_df_path=train_df_path,
    valid_df_path=valid_df_path,
    idx2labels_path="/path/to/vocab",
    clear_cache=True
)

2.2 Criar modelo

 from modules.models.bert_models import BERTBiLSTMAttnCRF
model = BERTBiLSTMAttnCRF.create(len(data.train_ds.idx2label))

2.3 Crie aluno

 from modules.train.train import NerLearner
num_epochs = 100
learner = NerLearner(
    model, data, "/path/for/save/best/model", t_total=num_epochs * len(data.train_dl))

2.4 Preveja

 from modules.data.bert_data import get_data_loader_for_predict
learner.load_model()
dl = get_data_loader_for_predict(data, df_path="/path/to/df/for/predict")
preds = learner.predict(dl)

2.5 Avalie

 from sklearn_crfsuite.metrics import flat_classification_report
from modules.analyze_utils.utils import bert_labels2tokens, voting_choicer
from modules.analyze_utils.plot_metrics import get_bert_span_report
from modules.analyze_utils.main_metrics import precision_recall_f1


pred_tokens, pred_labels = bert_labels2tokens(dl, preds)
true_tokens, true_labels = bert_labels2tokens(dl, [x.bert_labels for x in dl.dataset])
tokens_report = flat_classification_report(true_labels, pred_labels, digits=4)
print(tokens_report)

results = precision_recall_f1(true_labels, pred_labels)

3. Resultados

Não pesquisamos os melhores parâmetros e obtivemos os seguintes resultados.

Modelo	Conjunto de dados	Dev F1 Tok	Dev F1 Span	Teste F1 Tok	Teste F1 Span
NOSSO
M-Bertcrf-Io	Factueval	-	-	0,8543	0,8409
M-Bertncrf-Io	Factueval	-	-	0,8637	0,8516
M-Bertbilstmcrf-Io	Factueval	-	-	0,8835	0,8718
M-Bertbilstmncrf-Io	Factueval	-	-	0,8632	0,8510
M-Bertattncrf-Io	Factueval	-	-	0,8503	0,8346
M-Bertbilstmattncrf-Io	Factueval	-	-	0,8839	0,8716
M-Bertbilstmattnncrf-Io	Factueval	-	-	0,8807	0,8680
M-Bertbilstmattncrf-FIT_BERT-IO	Factueval	-	-	0,8823	0,8709
M-bertbilstmattnncrf-fit_bert-io	Factueval	-	-	0,8583	0,8456
-	-	-	-	-	-
Bertbilstmcrf-Io	CONLL-2003	0,9629	-	0,9221	-
B-Bertbilstmcrf-Io	CONLL-2003	0,9635	-	0,9229	-
B-Bertbilstmattncrf-Io	CONLL-2003	0,9614	-	0,9237	-
B-Bertbilstmattnncrf-Io	CONLL-2003	0,9631	-	0,9249	-
SOTA atual
Deeppavlov-Rubert -ner	Factueval	-	-	-	0,8266
CSE	CONLL-2003	-	-	0,931	-
Bert-Large	CONLL-2003	0,966	-	0,928	-
Bert-base	CONLL-2003	0,964	-	0,924	-