Arabic BERT
1.0.0
แบบจำลองภาษาเบิร์ตที่ผ่านการรับรองสำหรับภาษาอาหรับ
หากคุณใช้โมเดลเหล่านี้ในงานของคุณโปรดอ้างอิงบทความนี้:
@inproceedings{safaya-etal-2020-kuisail,
title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
author = "Safaya, Ali and
Abdullatif, Moutasem and
Yuret, Deniz",
booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
month = dec,
year = "2020",
address = "Barcelona (online)",
publisher = "International Committee for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
pages = "2054--2059",
}
แบบจำลองได้รับการปรับแต่งด้วยคำประมาณ 8.2 พันล้านคำ:
และทรัพยากรอาหรับอื่น ๆ ซึ่งรวมถึงข้อความ ~ 95GB
หมายเหตุเกี่ยวกับข้อมูลการฝึกอบรม:
| เบิร์ต-มินิ | เบิร์ต-ปานกลาง | เบิร์ตเบส | เบิร์ตขนาดใหญ่ | |
|---|---|---|---|---|
| เลเยอร์ที่ซ่อนอยู่ | 4 | 8 | 12 | 24 |
| หัวความสนใจ | 4 | 8 | 12 | 16 |
| ขนาดที่ซ่อน | 256 | 512 | 768 | 1024 |
| พารามิเตอร์ | 11m | 42m | 110m | 340m |
| ชุดข้อมูล | รายละเอียด | ML-BERT | Hulmona | ฐานอาหรับ-เบิร์ต |
|---|---|---|---|---|
| Arsenlev | 5 คลาสภาษา Levantine | 0.510 | 0.511 | 0.552 |
| Astd | 4 คลาส, MSA และภาษาอียิปต์ | 0.670 | 0.677 | 0.714 |
หมายเหตุ: ผลลัพธ์เพิ่มเติมเกี่ยวกับงาน NLP ปลายน้ำอื่น ๆ จะถูกเพิ่มในไม่ช้า หากคุณใช้โมเดลเหล่านี้ฉันขอขอบคุณคำติชมของคุณ
คุณสามารถใช้รุ่นเหล่านี้ได้โดยการติดตั้ง torch หรือ tensorflow และ HuggingFace Library transformers และคุณสามารถใช้มันโดยตรงโดยเริ่มต้นเช่นนี้:
from transformers import AutoTokenizer , AutoModel
# Mini: asafaya/bert-mini-arabic
# Medium: asafaya/bert-medium-arabic
# Base: asafaya/bert-base-arabic
# Large: asafaya/bert-large-arabic
tokenizer = AutoTokenizer . from_pretrained ( "asafaya/bert-base-arabic" )
model = AutoModel . from_pretrained ( "asafaya/bert-base-arabic" )ขอบคุณ Google ที่ให้บริการ TPU ฟรีสำหรับกระบวนการฝึกอบรมและสำหรับ HuggingFace สำหรับการโฮสต์รุ่นเหล่านี้บนเซิร์ฟเวอร์ของพวกเขา?
