BR BERTo

Br-Berto

葡萄牙語的變壓器模型（巴西PT_BR）

第一個經過培訓的模型（這是Roberta型號），可以在標籤頁面上找到：https：//github.com/rdenadai/br-berto/releases/tag/0.1

完整和最新的型號應從huggingface頁面下載：https：//huggingface.co/rdenadai/br_berto

參數（最新型號）

在6_993_330句子的語料庫上訓練。

• 詞彙大小：150_000
• RobertaFormaskEdlm尺寸：512
• Num Train時期：3
• 訓練時間：〜10天（在GCP上，帶有NVIDIA T4）

我遵循Huggingface團隊的出色教程：

如何使用變形金剛和象徵器從頭開始訓練新的語言模型