BR BERTo

Br-Berto

葡萄牙语的变压器模型（巴西PT_BR）

第一个经过培训的模型（这是Roberta型号），可以在标签页面上找到：https：//github.com/rdenadai/br-berto/releases/tag/0.1

完整和最新的型号应从huggingface页面下载：https：//huggingface.co/rdenadai/br_berto

参数（最新型号）

在6_993_330句子的语料库上训练。

• 词汇大小：150_000
• RobertaFormaskEdlm尺寸：512
• Num Train时期：3
• 训练时间：〜10天（在GCP上，带有NVIDIA T4）

我遵循Huggingface团队的出色教程：

如何使用变形金刚和象征器从头开始训练新的语言模型