ner bert

0。論文

このアーキテクチャに基づいた2つのソリューションがあります。

1. BSNLP 2019 ACLワークショップ：多言語共有タスクに関するソリューションとペーパー。
2. Dialogue AGRR-2019タスクと紙の2番目の位置ソリューション。

説明

このリポジトリには、Paper Bert：Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanovaによる言語理解のための深い双方向トランスの事前トレーニングとともにリリースされたBertモデルのGoogleのTensorflowリポジトリのPytorch Replementationに基づくNERタスクのソリューションが含まれています。

この実装では、BERTの事前に訓練されたTensorflowチェックポイント（特にGoogleの事前訓練モデル）をロードできます。

古いバージョンは「古い」ブランチにあります。

2。使用法

2.1データの作成

 from modules.data import bert_data
data = bert_data.LearnData.create(
    train_df_path=train_df_path,
    valid_df_path=valid_df_path,
    idx2labels_path="/path/to/vocab",
    clear_cache=True
)

2.2モデルの作成

 from modules.models.bert_models import BERTBiLSTMAttnCRF
model = BERTBiLSTMAttnCRF.create(len(data.train_ds.idx2label))

2.3学習者を作成します

 from modules.train.train import NerLearner
num_epochs = 100
learner = NerLearner(
    model, data, "/path/for/save/best/model", t_total=num_epochs * len(data.train_dl))

2.4予測

 from modules.data.bert_data import get_data_loader_for_predict
learner.load_model()
dl = get_data_loader_for_predict(data, df_path="/path/to/df/for/predict")
preds = learner.predict(dl)

2.5評価します

 from sklearn_crfsuite.metrics import flat_classification_report
from modules.analyze_utils.utils import bert_labels2tokens, voting_choicer
from modules.analyze_utils.plot_metrics import get_bert_span_report
from modules.analyze_utils.main_metrics import precision_recall_f1


pred_tokens, pred_labels = bert_labels2tokens(dl, preds)
true_tokens, true_labels = bert_labels2tokens(dl, [x.bert_labels for x in dl.dataset])
tokens_report = flat_classification_report(true_labels, pred_labels, digits=4)
print(tokens_report)

results = precision_recall_f1(true_labels, pred_labels)

3。結果

最良のパラメーターを検索せず、次の結果を取得しました。

モデル	データセット	DEV F1 TOK	開発F1スパン	F1 TOKをテストします	F1スパンをテストします
私たちのもの
m-bertcrf-io	factrueval	-	-	0.8543	0.8409
m-bertncrf-io	factrueval	-	-	0.8637	0.8516
m-bertbilstmcrf-io	factrueval	-	-	0.8835	0.8718
m-bertbilstmncrf-io	factrueval	-	-	0.8632	0.8510
m-bertattncrf-io	factrueval	-	-	0.8503	0.8346
m-bertbilstmattncrf-io	factrueval	-	-	0.8839	0.8716
m-bertbilstmattnncrf-io	factrueval	-	-	0.8807	0.8680
m-bertbilstmattncrf-fit_bert-io	factrueval	-	-	0.8823	0.8709
m-bertbilstmattnncrf-fit_bert-io	factrueval	-	-	0.8583	0.8456
-	-	-	-	-	-
bertbilstmcrf-io	CONLL-2003	0.9629	-	0.9221	-
B-BERTBILSTMCRF-IO	CONLL-2003	0.9635	-	0.9229	-
B-BERTBILSTMATTNCRF-IO	CONLL-2003	0.9614	-	0.9237	-
B-BERTBILSTMATTNNCRF-IO	CONLL-2003	0.9631	-	0.9249	-
現在のソタ
deeppavlov-rubert-ner	factrueval	-	-	-	0.8266
CSE	CONLL-2003	-	-	0.931	-
バート・ラージ	CONLL-2003	0.966	-	0.928	-
バートベース	CONLL-2003	0.964	-	0.924	-