Arabic BERT

Árabe-Bert

Modelos de idiomas pré -tenhados para árabe

Se você usar algum desses modelos em seu trabalho, cite este artigo:

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

Dados de pré -treinamento

Os modelos foram pré -criados em ~ 8,2 bilhões de palavras:

• Versão árabe do Oscar (versão sem trânsito do corpus) - filtrada de rastreamento comum
• Recente despejo da Wikipedia árabe

e outros recursos árabes que resumem até ~ 95 GB de texto.

Notas sobre dados de treinamento:

• Nossa versão final do Corpus contém algumas palavras não árabes, que não removemos das frases, pois isso afetaria algumas tarefas como o NER.
• Embora os caracteres não arábicos tenham sido reduzidos como uma etapa de pré-processamento, como os caracteres árabes não possuem mais, não há versão casada e não baseada do modelo.
• O conjunto de corpus e vocabulário não se restringem ao árabe padrão moderno, eles também contêm um pouco de árabe dialético.

Detalhes de pré -treinamento

• Esses modelos foram treinados usando o repositório GitHub do Google Bert em um único TPU V3-8 fornecido gratuitamente a partir do TFRC.
• Nosso procedimento de pré -treinamento segue as configurações de treinamento de Bert com algumas mudanças: treinado para as etapas de treinamento de 4M com 128 em lotes, em vez de 1M com o tamanho de Batchs de 256.

Modelos

	Bert-mini	Bert-metrado	Bert-base	Bert-Large
Camadas ocultas	4	8	12	24
Cabeças de atenção	4	8	12	16
Tamanho oculto	256	512	768	1024
Parâmetros	11m	42m	110m	340m

Resultados

Resultados da análise de sentimentos (escore F1)

Conjunto de dados	Detalhes	ML-Bert	Hulmona	Base de Bert em árabe
Arsenlev	5 classes, dialeto levantino	0,510	0,511	0,552
ASTD	4 aulas, MSA e dialetos egípcios	0,670	0,677	0,714

Nota: Mais resultados em outras tarefas de PNL a jusante serão adicionados em breve. Se você usar esses modelos, eu apreciaria seu feedback.

Como usar

Você pode usar esses modelos instalando transformers torch ou tensorflow e huggingface biblioteca. E você pode usá -lo diretamente, inicializando assim:

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )

Reconhecimento

Agradecemos ao Google por fornecer TPU gratuito pelo processo de treinamento e por HuggingFace para hospedar esses modelos em seus servidores?