تنزيل Arabic BERT - تنزيل رمز مصدر Arabic BERT

Arabic BERT

كود الذكاء الاصطناعي

1.0.0

تنزيل

العربية

نماذج لغة بيرت المسبقة للعربية

إذا كنت تستخدم أي من هذه النماذج في عملك ، فيرجى الاستشهاد بهذه الورقة:

 @inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

بيانات ما قبل

تم تجهيز النماذج على حوالي 8.2 مليار كلمة:

النسخة العربية من أوسكار (النسخة غير المليئة بالجسم) - تم ترشيحها من الزحف المشترك
تفريغ مؤخرا من ويكيبيديا العربية

وغيرها من الموارد العربية التي تصل إلى حوالي 95 جيجابايت من النص.

ملاحظات على بيانات التدريب:

تحتوي نسختنا النهائية من Corpus على بعض الكلمات غير العاربة ، والتي لم نزيلها من الجمل لأن ذلك سيؤثر على بعض المهام مثل NER.
على الرغم من أن الشخصيات غير العاربية قد تم تخفيضها كخطوة قبل المعالجة ، نظرًا لأن الشخصيات العربية لا تملك حالة علوية أو أقل ، فلا توجد نسخة مغلفة من النموذج.
لا تقتصر مجموعة المفردات والمفردات على اللغة العربية المعيارية الحديثة ، فهي تحتوي على بعض اللغة العربية الجدلية أيضًا.

تفاصيل ما قبل

تم تدريب هذه النماذج باستخدام مستودع github من Google Bert على TPU V3-8 واحد متوفر مجانًا من TFRC.
يتبع إجراء التدريب الخاص بنا إعدادات التدريب على Bert مع بعض التغييرات: تدرب على خطوات التدريب على 4 أمتار مع حجم 128 ، بدلاً من 1M مع 56.

النماذج

	بيرت ميني	بيرت ميديوم	bert-base	بيرت large
طبقات خفية	4	8	12	24
رؤساء الانتباه	4	8	12	16
الحجم المخفي	256	512	768	1024
حدود	11 م	42 م	110 م	340 م

نتائج

نتائج تحليل المشاعر (F1-Score)

مجموعة البيانات	تفاصيل	مل	هولمونا	قاعدة ببرت العربية
أرسينليف	5 فصول ، لهجة ليفانتين	0.510	0.511	0.552
ASTD	4 دروس ، MSA واللهجات المصرية	0.670	0.677	0.714

ملاحظة: سيتم إضافة المزيد من النتائج على مهام NLP الأخرى في اتجاه المصب قريبًا. إذا كنت تستخدم هذه النماذج ، فسأقدر ملاحظاتك.

كيفية استخدام

يمكنك استخدام هذه النماذج عن طريق تثبيت transformers مكتبة torch أو tensorflow و Luggingface. ويمكنك استخدامه مباشرة عن طريق تهيئته مثل هذا:

 from transformers import AutoTokenizer , AutoModel

# Mini:   asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base:   asafaya/bert-base-arabic
# Large:  asafaya/bert-large-arabic

tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )