BERT pytorch

Bert-Pytorch

Pytorch實施Google AI的2018年Bert，帶有簡單的註釋

BERT 2018 BERT：深層雙向變壓器的預訓練，用於語言理解紙網址：https：//arxiv.org/abs/1810.04805

介紹

Google AI的BERT論文顯示了各種NLP任務（新的17 NLP任務SOTA）的驚人結果，包括在Squad v1.1 QA任務上的人類F1分數勝過。本文證明，具有適當語言模型訓練方法的先前語言模型的替代方法可以用作變壓器（自我注意）的編碼器。更重要的是，他們向我們表明，這種預訓練的語言模型可以轉移到任何NLP任務中，而無需進行特定任務模型體系結構。

這個驚人的結果將是NLP歷史記錄中的記錄，我希望有關伯特的更多論文將很快發表。

此存儲庫是Bert的實施。代碼非常簡單，易於迅速理解。其中一些代碼基於帶註釋的變壓器

目前，該項目正在進行進度。並且該代碼尚未驗證。

安裝

 pip install bert-pytorch

Quickstart

注意：您的語料庫應在一行中準備兩個句子（ t）分隔符

0。準備您的語料庫

 Welcome to the t the junglen
I can stay t here all nightn

或令牌化語料庫（象徵性不在包裝中）

 Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn

1。根據您的語料庫建立詞彙

bert-vocab -c data/corpus.small -o data/vocab.small

2。訓練自己的伯特模型

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

語言模型預訓練

在本文中，作者展示了新的語言模型培訓方法，它們是“掩蓋語言模型”和“預測下一個句子”。

蒙版語言模型

原始論文：3.3.1任務＃1：蒙版LM

 Input Sequence  : The man went to [MASK] store with [MASK] dog
Target Sequence :                  the                his

規則：

根據子規則下的下方，隨機15％的輸入令牌將更改為某些東西

1. 隨機80％的令牌，將成為[MASK]令牌
2. 隨機10％的令牌，將是一個[RANDOM]令牌（另一個單詞）
3. 隨機10％的令牌將保持一樣。但是需要預測。

預測下一個句子

原始論文：3.3.2任務＃2：下一個句子預測

 Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next

Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext

“這句話可以連續連接嗎？”

了解兩個文本句子之間的關係，這不是通過語言建模直接捕獲的

規則：

1. 隨機的下一個句子的50％將是連續句子。
2. 隨機的下一個句子的50％將是無關的句子。

作者

Junseong Kim，Scatter Lab（[email protected] / [email protected]）

執照

該項目按照許可證文件寫的Apache 2.0許可證

版權所有2018 Junseong Kim，Scatter Lab，各自的BERT貢獻者

版權（C）2018 Alexander Rush：帶註釋的Trasnformer