BR BERTo

BR-BERTO

Model Transformer untuk Bahasa Portugis (Brasil PT_BR)

Model pertama yang dilatih (yang merupakan model Roberta), dapat ditemukan di halaman tag: https://github.com/rdenadai/br-berto/releases/tag/0.1

Model lengkap dan terbaru, harus diunduh dari halaman HuggingFace : https://huggingface.co/rdenadai/br_berto

Params (model terbaru)

Dilatih pada korpus 6_993_330 kalimat.

• Ukuran Vocab: 150_000
• Robertaformaskedlm Ukuran: 512
• Num Train Epochs: 3
• Waktu untuk berlatih: ~ 10 hari (di GCP dengan NVIDIA T4)

Saya mengikuti tutorial hebat dari tim Huggingface:

Cara melatih model bahasa baru dari awal menggunakan transformator dan tokenizer