Arabic BERT

阿拉伯語 - 伯特

阿拉伯語的伯特語言模型

如果您在工作中使用任何這些模型，請引用本文：

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

預處理數據

這些模型是在約82億個單詞上估計的：

• 奧斯卡的阿拉伯語版本（compus的未休息版） - 從普通爬網中過濾
• 阿拉伯語Wikipedia的最新垃圾

以及其他總計約95GB文本的阿拉伯資源。

培訓數據註釋：

• 我們的最終版本的語料庫包含一些非阿拉伯單詞鑲嵌物，我們沒有從句子中刪除這些詞語，因為這會影響諸如NER之類的某些任務。
• 儘管非阿拉伯字符是作為預處理步驟降低的，但由於阿拉伯字符沒有上部或較低的外殼，因此沒有該模型的殼體和未固定版本。
• 語料庫和詞彙集不限於現代標準阿拉伯語，它們也包含一些辯證法阿拉伯語。

預處理細節

• 使用Google Bert的GitHub存儲庫對這些模型進行了培訓，該模型是免費提供的TPU V3-8。
• 我們的訓練程序是在BERT的培訓設置之後進行的一些更改：對4M培訓步驟進行了培訓，其批次化為128，而不是1M，批量培訓為256。

型號

	伯特·米尼（Bert-Mini）	伯特中等	伯特基	Bert-large
隱藏層	4	8	12	24
注意力頭	4	8	12	16
隱藏尺寸	256	512	768	1024
參數	11m	42m	110m	340m

結果

情感分析結果（F1得分）

數據集	細節	ML-bert	hulmona	阿拉伯語 - 伯特基地
Arsenlev	5堂，黎凡特方言	0.510	0.511	0.552
ASTD	4堂，MSA和埃及方言	0.670	0.677	0.714

注意：其他下游NLP任務的更多結果將很快添加。如果您使用這些型號，我將感謝您的反饋。

如何使用

您可以通過安裝torch或tensorflow和擁抱面庫transformers使用這些型號。您可以通過這樣的初始化直接使用它：

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )

致謝

感謝Google提供了免費的TPU進行培訓過程，並為在其服務器上託管這些模型的擁抱面嗎？