BERT keras

狀態：存檔（提供代碼為IS，沒有預期的更新）

伯特·凱拉斯

KERAS實現Google Bert（來自變形金剛的雙向編碼器表示）和OpenAI的Transformer LM，能夠使用Finetuning API加載預審計的模型。

更新：在TPU支持的推理和培訓的情況下，@highcwu都可以通過THICOLAB筆記本來進行推理和培訓

如何使用它？

 # this is a pseudo code you can read an actual working example in tutorial.ipynb or the colab notebook
text_encoder = MyTextEncoder ( ** my_text_encoder_params ) # you create a text encoder (sentence piece and openai's bpe are included)
lm_generator = lm_generator ( text_encoder , ** lm_generator_params ) # this is essentially your data reader (single sentence and double sentence reader with masking and is_next label are included)
task_meta_datas = [ lm_task , classification_task , pos_task ] # these are your tasks (the lm_generator must generate the labels for these tasks too)
encoder_model = create_transformer ( ** encoder_params ) # or you could simply load_openai() or you could write your own encoder(BiLSTM for example)
trained_model = train_model ( encoder_model , task_meta_datas , lm_generator , ** training_params ) # it does both pretraing and finetuning
trained_model . save_weights ( 'my_awesome_model' ) # save it
model = load_model ( 'my_awesome_model' , encoder_model ) # load it later and use it! 

筆記

• 該圖書館的一般思想是使用OpenAI/Google驗證的模型進行轉移學習
• 為了查看BERT模型的工作原理，您可以檢查此COLAB筆記本
• 為了與Bert和Openai兼容，我必須假設詞彙量的標準訂購，我正在使用OpenAi的詞彙，因此在Bert的加載功能中，有一個可以更改訂購的部分。但這是一個實現細節，您可以忽略它！
• 加載OpenAi模型通過TensorFlow和Theano作為後端進行了測試
• 在Theano後端無法加載BERT模型，但TF版本正在工作，並且已經進行了測試
• Theano後端無法進行訓練和微調模型
• 您可以在大多數NLP任務中使用數據生成器和任務元數據，並且可以在其他框架中使用它們
• 數據集和變壓器模型都有一些單元測試（如果您不確定某些內容，請閱讀它們）
• 即使很艱難，我也不喜歡我的Keras代碼，也可以閱讀:)
• 如果您遵循模型合同，則可以使用其他編碼器（例如LSTM或BIQRNN）進行培訓（具有與變壓器編碼相同的輸入和輸出）
• 我為什麼要使用它而不是官方版本？首先，這是在Keras中，其次，它在令牌級別和句子級別的NLP任務上具有不錯的抽象，這是獨立的框架
• 為什麼Keras？ Pytorch版本已經發布了！ （順便說一句，您也可以將此數據生成器用於培訓和微調該模型）
• 我強烈建議您閱讀tutorial.ipynb（我不喜歡筆記本，所以這是一個設計不佳的筆記本，但無論如何都可以閱讀）

重要的代碼概念

• 任務：有兩個一般任務，句子級任務（例如IS_NEXT和情感分析），以及令牌級別的任務（例如POS和NER）
• Sentence: a sentence represents an example with it's labels and everything, for each task it provides a target(single one for sentence level tasks and per token label for token level tasks) and a mask, for token levels we need to not only ignore paddings but also we might want to predict class on first char of a word (like the BERT paper(first piece of a multi piece word)) and for sentence levels we want a extraction point(like start token in BERT paepr）
• 任務重量級設備：對於培訓，我們可能想從語言建模開始並順利進行分類，可以輕鬆地實現此類
• 注意_mask：隨之而來的是1.製作模型因果關係2.碼頭槳3.做瘋狂的想法：D
• Special_tokens：PAD，啟動，結束，定界線，面具

所有權

尼爾