Fill in the BERT

베르트를 채우십시오

Bill-In-Bert는 문장에서 누락 된 단어를 예측하도록 훈련 된 블랭크 모델을 채우는 것입니다. 이 데모의 목적을 위해 우리는 예측 모델로 미리 훈련 된 Bert-Base-incased를 사용할 것입니다. Bert를 처음 사용하는 경우 Bert에 대한 Bert에 대한 시각적 가이드를 읽으십시오.

실행하기위한 단계

 $> python3 app.py

브라우저에서 index.html을 열고 입력을 시작하십시오

데모

세부

• 모델 -Bert-Base-incased
• 미리 훈련 된 작업 -Maskedlm

추신 : 평균을 취함으로써 모든주의 헤드에서 레이어 3에 대한주의 시각화가 이루어집니다. 머리와 관심의 내부 작업 시각화에 대한 의미에 대해 자세히 알아보십시오.

사용 된 기술

1. Pytorch
2. HTML/부트 스트랩
3. 플라스크