BR BERTo

Br-Berto

Модель трансформатора для португальского языка (Бразилия PT_BR)

Первая подготовленная модель (которая является моделью Роберты), можно найти на странице тегов: https://github.com/rdenadai/br-berto/releases/tag/0.1

Полная и последняя модель должна быть загружена с страницы Huggingface : https://huggingface.co/rdenadai/br_berto

Params (последняя модель)

Обучен на корпусе 6_993_330 предложений.

• Размер слока: 150_000
• Robertaformaskedlm Размер: 512
• Эпохи num rain: 3
• Время тренироваться: ~ 10 дней (на GCP с NVIDIA T4)

Я следую за отличным учебником от команды HuggingFace:

Как обучить новую языковую модель с нуля с использованием трансформаторов и токенизаторов