BERT keras

状态：存档（提供代码为IS，没有预期的更新）

伯特·凯拉斯

KERAS实现Google Bert（来自变形金刚的双向编码器表示）和OpenAI的Transformer LM，能够使用Finetuning API加载预审计的模型。

更新：在TPU支持的推理和培训的情况下，@highcwu都可以通过THICOLAB笔记本来进行推理和培训

如何使用它？

 # this is a pseudo code you can read an actual working example in tutorial.ipynb or the colab notebook
text_encoder = MyTextEncoder ( ** my_text_encoder_params ) # you create a text encoder (sentence piece and openai's bpe are included)
lm_generator = lm_generator ( text_encoder , ** lm_generator_params ) # this is essentially your data reader (single sentence and double sentence reader with masking and is_next label are included)
task_meta_datas = [ lm_task , classification_task , pos_task ] # these are your tasks (the lm_generator must generate the labels for these tasks too)
encoder_model = create_transformer ( ** encoder_params ) # or you could simply load_openai() or you could write your own encoder(BiLSTM for example)
trained_model = train_model ( encoder_model , task_meta_datas , lm_generator , ** training_params ) # it does both pretraing and finetuning
trained_model . save_weights ( 'my_awesome_model' ) # save it
model = load_model ( 'my_awesome_model' , encoder_model ) # load it later and use it! 

笔记

• 该图书馆的一般思想是使用OpenAI/Google验证的模型进行转移学习
• 为了查看BERT模型的工作原理，您可以检查此COLAB笔记本
• 为了与Bert和Openai兼容，我必须假设词汇量的标准订购，我正在使用OpenAi的词汇，因此在Bert的加载功能中，有一个可以更改订购的部分。但这是一个实现细节，您可以忽略它！
• 加载OpenAi模型通过TensorFlow和Theano作为后端进行了测试
• 在Theano后端无法加载BERT模型，但TF版本正在工作，并且已经进行了测试
• Theano后端无法进行训练和微调模型
• 您可以在大多数NLP任务中使用数据生成器和任务元数据，并且可以在其他框架中使用它们
• 数据集和变压器模型都有一些单元测试（如果您不确定某些内容，请阅读它们）
• 即使很艰难，我也不喜欢我的Keras代码，也可以阅读:)
• 如果您遵循模型合同，则可以使用其他编码器（例如LSTM或BIQRNN）进行培训（具有与变压器编码相同的输入和输出）
• 我为什么要使用它而不是官方版本？首先，这是在Keras中，其次，它在令牌级别和句子级别的NLP任务上具有不错的抽象，这是独立的框架
• 为什么Keras？ Pytorch版本已经发布了！ （顺便说一句，您也可以将此数据生成器用于培训和微调该模型）
• 我强烈建议您阅读tutorial.ipynb（我不喜欢笔记本，所以这是一个设计不佳的笔记本，但无论如何都可以阅读）

重要的代码概念

• 任务：有两个一般任务，句子级任务（例如IS_NEXT和情感分析），以及令牌级别的任务（例如POS和NER）
• Sentence: a sentence represents an example with it's labels and everything, for each task it provides a target(single one for sentence level tasks and per token label for token level tasks) and a mask, for token levels we need to not only ignore paddings but also we might want to predict class on first char of a word (like the BERT paper(first piece of a multi piece word)) and for sentence levels we want a extraction point(like start token in BERT paepr）
• 任务重量级设备：对于培训，我们可能想从语言建模开始并顺利进行分类，可以轻松地实现此类
• 注意_mask：随之而来的是1.制作模型因果关系2.码头桨3.做疯狂的想法：D
• Special_tokens：PAD，启动，结束，定界线，面具

所有权

尼尔