LIMIT BERT

Предел-берт

Содержимое

1. Требования
2. Обучение

Требования

• Python 3.6 или выше.
• Цифон 0,25,2 или любая совместимая версия.
• Pytorch 1.0.0+.
• Оценка Перед началом запустите make внутри в справочнике EVALB/ для составления исполняемого файла evalb . Это будет вызвано из Python для оценки.
• Pytorch-Transformers Pytorch 1.0.0+ или любая совместимая версия.

Предварительно обученные модели (Pytorch)

Следующие предварительно обученные модели доступны для загрузки с Google Drive:

• LIMIT-BERT : версия Pytorch, такая же настройка с Bert-Large-WWM ， модель загрузки с Pytorch-трансформаторами.

Обучение

Чтобы тренировать лимитный берт, просто беги:

 sh run_limitbert.sh

Оценки инструкции

Тестировать после установки пути модели:

 sh test_bert.sh