BR BERTo

Br-Berto

Modelo de transformador para a língua portuguesa (Brasil PT_BR)

O primeiro modelo treinado (que é um modelo Roberta) pode ser encontrado na página de tags: https://github.com/rdenadai/br-berto/releases/tag/0.1

O modelo completo e mais recente deve ser baixado da página Huggingface : https://huggingface.co/rdenadai/br_berto

Params (modelo mais recente)

Treinado em um corpus de 6_993_330 frases.

• Tamanho do vocabulário: 150_000
• Robertaformaskedlm Tamanho: 512
• NUM EMPOCHAS DE TRINHAÇÃO: 3
• Hora de treinar: ~ 10 dias (no GCP com um Nvidia T4)

Eu sigo o ótimo tutorial da equipe da Huggingface:

Como treinar um novo modelo de idioma do zero usando transformadores e tokenizadores