BERT pytorch
1.0.0
간단한 주석과 함께 Google AI 2018 Bert의 Pytorch 구현
BERT 2018 BERT : 언어 이해 용지 URL : https://arxiv.org/abs/1810.04805를위한 심층 양방향 변압기의 사전 훈련
Google AI의 Bert 논문은 Squad v1.1 QA 작업의 인간 F1 점수를 능가하는 등 다양한 NLP 작업 (새로운 17 NLP 작업 SOTA)의 놀라운 결과를 보여줍니다. 이 논문은 트랜스포머 (자체 변환) 기반 인코더가 적절한 언어 모델 교육 방법을 갖춘 이전 언어 모델의 대안으로 강력하게 사용될 수 있음을 증명했습니다. 더 중요한 것은이 미리 훈련 된 언어 모델이 작업 별 모델 아키텍처를 만들지 않고 NLP 작업으로 전송할 수 있음을 보여주었습니다.
이 놀라운 결과는 NLP 역사에서 기록 될 것이며, Bert에 관한 많은 논문이 곧 출판 될 것으로 기대합니다.
이 repo는 Bert의 구현입니다. 코드는 매우 간단하고 빠르게 이해하기 쉽습니다. 이 코드 중 일부는 주석이 달린 변압기를 기반으로합니다.
현재이 프로젝트는 진행 중입니다. 그리고 코드는 아직 확인되지 않았습니다.
pip install bert-pytorch
주목 : 코퍼스는 탭 ( t) 분리기와 함께 한 줄로 두 문장으로 준비해야합니다.
Welcome to the t the junglen
I can stay t here all nightn
또는 토큰 화 코퍼스 (토큰 화가 패키지에 없습니다)
Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn
bert-vocab -c data/corpus.small -o data/vocab.smallbert -c data/corpus.small -v data/vocab.small -o output/bert.model이 논문에서 저자는 "마스크 언어 모델"및 "다음 문장 예측"인 새로운 언어 모델 교육 방법을 보여줍니다.
원본 용지 : 3.3.1 작업 #1 : 마스크 LM
Input Sequence : The man went to [MASK] store with [MASK] dog
Target Sequence : the his
입력 토큰의 무작위로 15%가 하위 규칙에 따라 무언가로 변경됩니다.
[MASK] 토큰이 될 것입니다[RANDOM] 토큰이 될 것입니다 (다른 단어)원본 논문 : 3.3.2 과제 #2 : 다음 문장 예측
Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next
Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext
"이 문장이 지속적으로 연결될 수 있습니까?"
언어 모델링에 의해 직접 캡처되지 않는 두 텍스트 문장 사이의 관계 이해
Junseong Kim, Scatter Lab ([email protected] / [email protected])
라이센스 파일로 작성된 Apache 2.0 라이센스에 따른이 프로젝트
Copyright 2018 Junseong Kim, Scatter Lab, 각 Bert 기고자
저작권 (C) 2018 Alexander Rush : 주석이 달린 Trasnformer
