LIMIT BERT

極限 - 伯特

內容

1. 要求
2. 訓練

要求

• Python 3.6或更高。
• Cython 0.25.2或任何兼容版本。
• Pytorch 1.0.0+。
• 評估。啟動之前，在EVALB/目錄中make以編譯evalb文件。這將從Python召集進行評估。
• Pytorch-Transformers Pytorch 1.0.0+或任何兼容版本。

預訓練模型（Pytorch）

可從Google Drive下載以下預訓練的模型：

• LIMIT-BERT ：pytorch版本，帶有bert-large-wwm的設置，帶有pytorch-transformers的加載模型。

訓練

要訓​​練極限 - 伯特，只需運行：

 sh run_limitbert.sh

評估說明

設置模型路徑後測試：

 sh test_bert.sh