BR BERTo

Br-Berto

Transformatormodell für die portugiesische Sprache (Brasilien PT_BR)

Das erste ausgebildete Modell (das ein Roberta-Modell ist) finden Sie auf Tags Seite: https://github.com/rdenadai/br-berto/releases/tag/0.1

Das vollständige und neueste Modell sollte von der Seite von Huggingface heruntergeladen werden: https://huggingface.co/rdenadai/br_berto

Parameter (neuestes Modell)

Ausgebildet auf einem Korpus von 6_993_330 Sätzen.

• Vokabellengröße: 150_000
• RobertaFormaskedlm Größe: 512
• Num -Zug -Epochen: 3
• Zeit zu trainieren: ~ 10 Tage (auf GCP mit einem Nvidia T4)

Ich folge dem großartigen Tutorial vom Huggingface -Team:

So trainieren Sie ein neues Sprachmodell von Grund auf mit Transformatoren und Tokenizern