LIMIT BERT

极限 - 伯特

内容

1. 要求
2. 训练

要求

• Python 3.6或更高。
• Cython 0.25.2或任何兼容版本。
• Pytorch 1.0.0+。
• 评估。启动之前，在EVALB/目录中make以编译evalb文件。这将从Python召集进行评估。
• Pytorch-Transformers Pytorch 1.0.0+或任何兼容版本。

预训练模型（Pytorch）

可从Google Drive下载以下预训练的模型：

• LIMIT-BERT ：pytorch版本，带有bert-large-wwm的设置，带有pytorch-transformers的加载模型。

训练

要训​​练极限 - 伯特，只需运行：

 sh run_limitbert.sh

评估说明

设置模型路径后测试：

 sh test_bert.sh