BERT keras

ステータス：アーカイブ（コードが提供され、更新は予想されません）

Bert-Keras

KERAS Google Bertの実装（変圧器からの双方向エンコーダー表現）およびOpenaiの変圧器LMは、Finetuning APIで前処理されたモデルをロードできる。

更新：@highcwuのおかげで、このコラブノートブックのような推論とトレーニングの両方をサポートするTPUサポート

それを使用する方法は？

 # this is a pseudo code you can read an actual working example in tutorial.ipynb or the colab notebook
text_encoder = MyTextEncoder ( ** my_text_encoder_params ) # you create a text encoder (sentence piece and openai's bpe are included)
lm_generator = lm_generator ( text_encoder , ** lm_generator_params ) # this is essentially your data reader (single sentence and double sentence reader with masking and is_next label are included)
task_meta_datas = [ lm_task , classification_task , pos_task ] # these are your tasks (the lm_generator must generate the labels for these tasks too)
encoder_model = create_transformer ( ** encoder_params ) # or you could simply load_openai() or you could write your own encoder(BiLSTM for example)
trained_model = train_model ( encoder_model , task_meta_datas , lm_generator , ** training_params ) # it does both pretraing and finetuning
trained_model . save_weights ( 'my_awesome_model' ) # save it
model = load_model ( 'my_awesome_model' , encoder_model ) # load it later and use it! 

メモ

• このライブラリの一般的なアイデアは、転送学習にOpenai/Googleの前提型モデルを使用することです
• Bertモデルの仕組みを確認するには、このコラブノートブックを確認できます
• BertとOpenaiの両方と互換性があるためには、語彙の標準的な順序付けを想定しなければなりませんでした。Openaiを使用しているため、Bertの荷重関数には順序付けを変更する部分があります。しかし、これは実装の詳細であり、あなたはそれを無視することができます！
• Openaiモデルの読み込みは、TensorflowとTheanoの両方でバックエンドとしてテストされています
• TheanoバックエンドではBERTモデルのロードはまだ不可能ですが、TFバージョンは機能しており、テストされています
• Theanoバックエンドではモデルのトレーニングと微調整は不可能ですが、Tensorflowで完全に正常に機能します
• ほとんどのNLPタスクでデータジェネレーターとタスクメタデータを使用でき、他のフレームワークで使用できます。
• データセットモデルとトランスモデルの両方にいくつかのユニットテストがあります（何かについてわからない場合は読んでください）
• タフでさえ、私は私のkerasコードが好きではありません、それは読みやすいです:)
• モデル契約に従う場合、トレーニングにはLSTMやBiqRNNなどの他のエンコーダを使用できます（トランスエンコーダーと同じ入力と出力があります）
• 公式リリースの代わりにこれを使用する必要があるのはなぜですか？最初にこれがケラスにあり、次に、フレームワーク独立したトークンレベルと文レベルのNLPタスクよりも素晴らしい抽象化があります
• なぜケラス？ Pytorchバージョンはすでにリリースされています！ （ところで、このモデルのトレーニングと微調整にもこのデータジェネレーターを使用できます）
• Tutorial.ipynbを読むことを強くお勧めします（ノートブックが好きではないので、これは不十分に設計されたノートですが、とにかく読んでください）

重要なコード概念

• タスク：2つの一般的なタスク、文レベルタスク（is_nextやセンチメント分析など）、およびトークンレベルのタスク（POSやNERなど）があります
• 文：文はラベルとすべての例を表します。各タスクでは、ターゲット（文レベルのタスクとトークンレベルのタスク用のトークンラベルごとの単一のもの）とマスクを提供し、トークンレベルでは、パディングを無視するだけでなく、単語の最初のcharのクラスを予測する必要があります（マルチピースのピースのように）。
• TaskWeightScheduler：トレーニングのために、言語モデリングから始めて、分類にスムーズに移動することをお勧めします。
• 注意_mask：これにより、モデルの原因となる2.ignoreパディング3.あなたのクレイジーなアイデア：D
• Special_tokens：パッド、スタート、エンド、デリミッター、マスク

所有

ネイロン