BERT Sequence Labeling

버트-시퀀스-표지

이 repostiory는 HuggingFaces의 모델을 서열 라벨링을 위해 엔드 투 엔드 파이프 라인에 통합합니다. 다음은 사용 가능한 모델의 전체 목록입니다.

이 저장소가 도움이된다면 별을 줘. : Blush :

설치하다

 git clone https://github.com/avramandrei/BERT-Sequence-Labeling.git
cd BERT-Sequence-Labeling
pip3 install -r requirements.txt

입력 형식

교육, 검증 및 테스트에 사용되는 파일은 conll과 유사한 형식이어야합니다.

 # sent_id = email-enronsent20_01-0048
# text = Please let us know if you have additional questions.
1	Please	please	INTJ	UH	_	2	discourse	2:discourse	_
2	let	let	VERB	VB	Mood=Imp|VerbForm=Fin	0	root	0:root	_
3	us	we	PRON	PRP	Case=Acc|Number=Plur|Person=1|PronType=Prs	2	obj	2:obj|4:nsubj:xsubj	_
4	know	know	VERB	VB	VerbForm=Inf	2	xcomp	2:xcomp	_
5	if	if	SCONJ	IN	_	7	mark	7:mark	_
6	you	you	PRON	PRP	Case=Nom|Person=2|PronType=Prs	7	nsubj	7:nsubj	_
7	have	have	VERB	VBP	Mood=Ind|Tense=Pres|VerbForm=Fin	4	advcl	4:advcl:if	_
8	additional	additional	ADJ	JJ	Degree=Pos	9	amod	9:amod	_
9	questions	question	NOUN	NNS	Number=Plur	7	obj	7:obj	SpaceAfter=No
10	.	.	PUNCT	.	_	2	punct	2:punct	_

훈련

모델을 훈련 시키려면 train.py 스크립트를 사용하십시오. 이것은 [predict_column] 인수에 의해 지정된 열의 레이블을 예측하는 모델을 훈련하기 시작합니다.

 python3 train.py [path_train_file] [path_dev_file] [tokens_column] [predict_column] [lang_model_name]

추론

새 값을 예측하려면 predict.py 스크립트를 사용하십시오. 테스트 파일의 예측 된 열을 예측 값으로 바꾸어 새 파일을 만듭니다.

 python3 predict.py [path_test_file] [model_path] [tokens_column] [predict_column] [lang_model_name]

결과

영어 EWT

모델	upos	xpos
버트베이스	95.92	95.27
Roberta-Base	95.77	95.18

인용문

저자에게 감사의 말로 다음 논문을 인용하는 것을 고려하십시오.

 @article{avram2020upb,
  title={UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction},
  author={Avram, Andrei-Marius and Cercel, Dumitru-Clementin and Chiru, Costin-Gabriel},
  journal={arXiv e-prints},
  pages={arXiv--2009},
  year={2020}
}