LIMIT BERT

Limit-Bert

コンテンツ

1. 要件
2. トレーニング

要件

• Python 3.6以降。
• Cython 0.25.2または互換性のあるバージョン。
• Pytorch 1.0.0+。
• evalb。開始する前に、 EVALB/ディレクトリ内をmakeして、 evalb実行可能ファイルをコンパイルします。これは、評価のためにPythonから呼び出されます。
• pytorch-transformers pytorch 1.0.0+または互換性のあるバージョン。

事前に訓練されたモデル（Pytorch）

以下の事前訓練を受けたモデルは、Googleドライブからダウンロードできます。

• LIMIT-BERT ：Pytorchバージョン、Bert-Large-WWMで同じ設定、Pytorch-Transformersを使用したロードモデル。

トレーニング

Limit-Bertを訓練するには、単に実行してください。

 sh run_limitbert.sh

評価手順

モデルパスを設定した後にテストするには：

 sh test_bert.sh