BR BERTo

Br-berto

Modelo de transformador para lenguaje portugués (Brasil PT_BR)

El primer modelo entrenado (que es un modelo Roberta), se puede encontrar en la página de etiquetas: https://github.com/rdenadai/br-berto/releases/tag/0.1

El modelo completo y último debe descargarse desde la página de Huggingface : https://huggingface.co/rdenadai/br_berto

Parámetros (último modelo)

Entrenado en un corpus de 6_993_330 oraciones.

• Tamaño de Vocab: 150_000
• RoberAformaskedlm Tamaño: 512
• Num Train Epochs: 3
• Hora de entrenar: ~ 10 días (en GCP con un Nvidia T4)

Sigo el gran tutorial del equipo de Huggingface:

Cómo entrenar un nuevo modelo de idioma desde cero utilizando transformadores y tokenizadores