BR BERTo

Br-Berto

Modèle de transformateur pour la langue portugaise (Brésil PT_BR)

Le premier modèle formé (qui est un modèle Roberta) peut être trouvé sur la page des balises: https://github.com/rdenadai/br-berto/releases/tag/0.1

Le modèle complet et le dernier devrait être téléchargé à partir de HuggingFace Page: https://huggingface.co/rdenadai/BR_BERTO

Params (dernier modèle)

Formé sur un corpus de 6_993_330.

• Taille du vocabulaire: 150_000
• Robertaformaskedlm Taille: 512
• Num Train Epochs: 3
• Temps de formation: ~ 10 jours (sur GCP avec un nvidia T4)

Je suis le grand tutoriel de l'équipe HuggingFace:

Comment former un nouveau modèle de langue à partir de zéro à l'aide de transformateurs et de tokeniseurs