BR BERTo

Br-berto

포르투갈어를위한 변압기 모델 (브라질 PT_BR)

첫 번째 모델 (Roberta 모델)은 태그 페이지에서 찾을 수 있습니다 : https://github.com/rdenadai/br-berto/releases/tag/0.1

전체 및 최신 모델은 Huggingface 페이지에서 다운로드해야합니다. https://huggingface.co/rdenadai/br_berto

매개 변수 (최신 모델)

6_993_330 문장의 코퍼스에서 훈련.

• 어휘 크기 : 150_000
• Robertaformaskedlm 크기 : 512
• Num Train Epochs : 3
• 훈련 시간 : ~ 10days (Nvidia t4와 함께 GCP)

Huggingface 팀의 훌륭한 튜토리얼을 따릅니다.

변압기 및 토큰 화제를 사용하여 처음부터 새로운 언어 모델을 훈련시키는 방법